用于能力保留的慢快多教师 On-Policy 蒸馏

英文标题：Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation

该论文提出“慢快多教师 On-Policy 蒸馏”（Slow-Fast Multi-Teacher On-Policy Distillation），旨在保留基础多模态大语言模型的广泛能力。论文指出，基础多模态模型需要覆盖多个领域和多种任务能力。多教师 On-Policy 蒸馏（MOPD）可用于将不同领域的专业知识整合到单一模型中。该方法对需要在模型压缩、能力迁移或领域专长整合过程中减少能力遗忘的开发者和研究人员具有参考价值。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB