预测同策略自蒸馏中特权信息的有效性
英文标题：Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
本论文聚焦于大语言模型（LLM）的同策略自蒸馏（OPSD）技术，该技术支持模型在无需独立外部教师模型的情况下，直接利用特权信息（PI）实现自我强化。然而，以往研究大多将特权信息视为固定的预设设计，缺乏对其具体内容特征与蒸馏增益之间关系的深入考量。该研究提出对特权信息有效性进行评估与预测，为开发者更精准地构建和筛选高价值辅助信息提供了理论与实践依据，有助于优化模型蒸馏训练流程并显著降低算力试错成本。
打开原文相关 4.8 · 机会 0
2.1 KB
672 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2610.22512v1（公告类型：new）
摘要
同策略自蒸馏（On-policy self-distillation，简称 OPSD）使大语言模型（LLM）能够在无需独立教师模型的情况下，直接从特权信息（privileged information，简称 PI）中学习。然而，以往的研究大多将特权信息视为一种固定的设计选择，关于特权信息的内容及其对模型效果的影响仍有待深入探索……
English / 原文
BibTeX formatted citation
×