通过面向策略蒸馏实现推理的递归自我改进
英文标题：Recursive Self-Improvement via On-Policy Distillation for Reasoning
这篇新发布的 arXiv 论文提出使用面向策略蒸馏（On-Policy Distillation，OPD）实现推理能力的递归自我改进。OPD 让学生模型自行生成推理轨迹，再将其下一个 token 的预测与外部教师模型的下一个 token 预测进行匹配。该方法可向学生模型提供密集的 token 级监督信号，对训练具备更强推理能力的模型及开发推理模型训练流程具有意义。原文提供的摘要内容在“On-policy”处截断，未包含更多实验数据或结论。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
通过面向策略蒸馏实现推理的递归自我改进
arXiv:2609.30652v1
发布类型：新论文
摘要
面向策略蒸馏（On-Policy Distillation，OPD）通过让学生模型生成轨迹，再使其下一个 token 的预测与外部教师模型的下一个 token 预测相匹配，来训练学生模型。这为学生模型提供了密集的、token 级别的监督信号。面向策略……
原文摘要在此处截断。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×