为何视觉无法成为通用桥梁:纠正多语言 MLLM 中的模态异步问题
英文标题:Why Vision Fails as a Universal Bridge: Rectifying Modality Asynchrony in Multilingual MLLMs
论文指出,尽管多模态大语言模型(MLLM)的纯文本骨干具备较强的多语言能力,但其在非英语视觉推理任务上的性能会显著下降。作者将这一问题归因于不同模态之间的异步或错位,意味着视觉信息并不能天然充当跨语言理解的通用桥梁。该研究对开发者的意义在于:构建多语言视觉语言模型时,不能仅依赖英语视觉能力向其他语言迁移,还需要针对模态对齐与跨语言表示一致性进行专门校正。
打开原文相关 4 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×