用于微型 Transformer 算术推理的算法草稿板与课程式分阶段训练

英文标题：Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers

该论文研究微型 Transformer 在多位数乘法、长除法等确定性多步骤算法任务中的推理机制。作者指出，自回归大语言模型通常难以稳定完成这类需要逐步执行的算术计算。论文聚焦通过算法草稿板（scratchpads）和课程式分阶段训练，提升紧凑模型的多步骤算术能力。这项研究对资源受限环境中的可靠推理、算术数据集设计以及模型训练策略具有参考意义。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB