Token级响应-视觉注意力引导的多模态大语言模型知识蒸馏

英文标题：Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

知识蒸馏（KD）广泛用于借助大教师模型训练轻量模型，但仅依赖输出 token 分布已被证明不足以压缩多模态大语言模型。本文提出 Token 级响应-视觉注意力引导方法，以提升多模态 LLM 的压缩效果。该方法对开发者降低推理成本、部署高效多模态模型具有重要意义。

2.6 KB 2.1 KB 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB