提示词广度与 Rollout 刷新在 On-Policy Distillation 中的交互作用

英文标题：Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation

该论文研究 On-Policy Distillation（OPD）中两个相互关联的训练控制因素：提示词广度与 Rollout 刷新频率。作者关注 OPD 需要多少提示词，以及这一需求如何取决于生成训练回答的学生策略。根据现有摘要片段，研究包含一个 3×3 的数学推理实验设置。该工作对开发者设计蒸馏数据采样与策略更新流程具有参考价值。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB