看见还是知道？多模态大语言模型中的视觉上下文敏感性

英文标题：Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

该论文以“看见还是知道？”为题，研究多模态大语言模型（MLLM）的视觉上下文敏感性。摘要指出，MLLM 通过将视觉输入与预训练语言模型的丰富先验相结合，已取得较强性能。与此同时，模型在以视觉为核心的任务上仍可能失效，尤其是在视觉证据与预训练先验发生冲突时。这一问题对开发者意味着，评估和改进多模态模型时需要重点关注模型是否真正依据图像证据作答，而非过度依赖语言先验。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB