VLM 何时应当查看：只为真正需要且被使用的视觉调用付费

英文标题：When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used

该论文研究具备裁剪和缩放能力的视觉—语言 Agent，如何判断一次视觉工具调用是否真正必要，以及模型是否实际使用了所获得的像素信息。作者指出，现有训练奖励通常只会奖励成功的工具调用，但“调用成功”并不能证明模型必须查看图像，或确实利用了视觉结果。原摘要片段显示，在其冷启动检查点中，仅有约 10% 至 12% 的视觉相关调用满足文中所讨论的有效性条件，这提示视觉调用可能存在显著冗余，并影响 Agent 的成本与训练目标设计。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB