超越模仿：按推理进展筛选在线策略蒸馏

英文标题：Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress

论文提出关注在线策略蒸馏（OPD）中“推理进展”筛选的问题。OPD 通过将学生模型生成的轨迹与教师模型提供的密集 token 级监督配对，已成为语言模型后训练的一种有效框架。原文摘要指出，现有 OPD 方法隐含假设教师派生的奖励或监督信号始终可靠，但所提供的原文内容未包含后续方法、实验数据及结论。该方向对开发者的意义在于，蒸馏训练可能需要根据学生推理过程中的实际进展来过滤监督信号，而非直接模仿全部教师反馈。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB