别光看，去干预：面向 VQA 图像的基于扰动的区域标注
英文标题：Don't Just Look, Intervene: Perturbation Based Region Labeling for VQA Images
视觉语言模型（VLM）在回答问题时应依赖直接决定正确答案的视觉证据，但现有人工标注视觉推理定位的方法成本高昂，且往往局限于特定数据集的标注基元。本研究提出了一种基于主动干预与扰动的图像区域标注方法，用于视觉问答（VQA）场景。该方法通过对图像区域进行扰动观察模型输出变化，从而自动识别出对推理起决定性作用的关键视觉区域。这一范式为降低高质量多模态对齐数据的获取成本提供了新思路，有助于提升 VLM 视觉推理的可靠性与因果可解释性。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv 编号：arXiv:2609.13228v1
公告类型：最新（new）
摘要
视觉语言模型（VLM）应当依赖能够直接决定正确答案的关键视觉证据，但用于定位视觉推理的监督信号往往人工获取成本高昂，或者受限于特定数据集的标注基元。为此，我们提出了一种基于干预与扰动的机制……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×