当提示词成为像素：面向多模态推理的提示词—区域定位

英文标题：When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

该论文关注多模态大语言模型在截图和文档上进行推理时，任务指令本身以像素形式出现的场景。现有基准测试通常将问题以文本形式提供，因此尚不清楚模型是否能够同样有效地理解图像中的指令。论文提出“提示词—区域定位”（Prompt-Region Grounding）这一问题设定，用于研究模型将视觉区域中的提示信息与推理任务关联的能力。这一方向对文档智能、界面理解及多模态 Agent 的可靠指令执行具有意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB