SFT 实际应学习哪些 Token？数学推理中的 Token 裁剪视角

英文标题：Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning

这篇 arXiv:2609.09707v1 新论文探讨监督微调（SFT）在数学推理任务中应重点学习哪些目标 Token。论文指出，传统 SFT 对所有目标 Token 统一施加交叉熵损失，但不同 Token 对数学推理提供的学习信号并不相同。摘要认为，这种统一处理可能会过度强化模型已经掌握的 Token。该研究对开发者的启示是：数学推理微调的训练目标或许需要按 Token 的学习价值进行更精细的筛选与加权。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB