从解题轨迹到教学轨迹：面向认知对齐的推理模型知识蒸馏
英文标题：From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation
针对大型推理模型（LRMs）向小型模型蒸馏知识的场景，该研究指出直接使用教师模型的原始解题轨迹作为监督信号存在显著缺陷。常规做法忽略了蒸馏目标与教师轨迹内在特质之间的认知脱节，因为先进推理模型的思考路径往往充斥着试错与跳跃。为此，研究团队提出了将“解题者轨迹”转化为“教学轨迹”的认知对齐推理蒸馏范式。该方案为大模型端侧轻量化部署与高效推理训练提供了全新思路。
打开原文相关 1.6 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
论文摘要
arXiv 编号：arXiv:2610.36445v1
公布类型：最新公布（new）
针对大型推理模型（Large Reasoning Models, LRMs）的知识蒸馏通常直接采用教师模型的原始推理轨迹作为监督信号。然而，这种常规做法在蒸馏目标与教师轨迹的本质特征之间造成了显著的不匹配。先进的 LRM 在解决复杂问题时往往包含大量内部试错、隐式跃迁或冗余思考，并不直接等同于适合传授知识的教学路径。
本研究提出了“认知对齐推理蒸馏”（Cognition-Aligned Reasoning Distillation），将模型的“解题者轨迹（Solver Trajectories）”转化为更利于小模型学习与理解的“教学轨迹（Teaching Trajectories）”，从而实现更高效、鲁棒的推理能力迁移。
BibTeX 格式引用
(注：原数据源未提供完整 BibTeX 内容)
English / 原文
BibTeX formatted citation
×