推理指令可能破坏视觉—语言模型的答案解码

英文标题：Reasoning Instructions Can Break Answer Decoding in Vision--Language Models

该论文指出，在视觉—语言模型（VLM）的多项选择评测中，链式思维（CoT）指令可能导致答案评分失真。当评分器在提示词后附加推理提示、却在模型生成推理过程之前读取答案标签的 logits 时，会产生作者称为“CoT-prefix scoring”的问题。论文以 ScienceQA 和 Qwen2.5-VL-7B 等设置为例，提示开发者应谨慎设计包含推理指令的评测与答案解码流程，避免将提示词前缀对标签概率的影响误判为模型真实作答能力。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB