知识蒸馏何时会造成伤害？面向低资源语言摘要的可靠性感知蒸馏

英文标题：When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization

该论文研究知识蒸馏（KD）在低资源语言文本摘要任务中的逐样本影响，而非仅关注整体平均指标。在 BanSum 孟加拉语摘要基准上，标准 KD 对 ROUGE-L 的提升仅为 +0.0003，表明其整体收益十分有限。研究强调，教师模型输出的可靠性可能决定蒸馏是否有效，并对低资源语言摘要模型的压缩与部署策略具有参考意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB