重新思考在线策略自蒸馏中的特权信息

英文标题：Rethinking Privileged Information in On-Policy Self-Distillation

论文研究在线策略自蒸馏（OPSD），该方法让学生模型基于自身生成的回答进行训练，并采用由同一模型在特权参考信息条件下生成的 token 级监督信号。作者关注 OPSD 带来的性能提升，是否真正意味着学生模型学会了利用这些特权信息。该研究对开发者评估自蒸馏训练效果具有意义：模型表现提升未必等同于模型获得了可泛化的知识或推理能力。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB