无需基础真值：诊断视频 LLM 基准测试中的视觉依赖性解离

英文标题：Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

本文重新审视了视频大语言模型评测中准确率就等于视觉理解的假设。作者在20个模型（参数规模2-78B，涵盖十个架构家族）中引入“视觉依赖缺口”这一诊断指标，发现许多基准测试的高分实际上可以通过纯语言捷径达到，而非真正依赖视觉信息。该研究表明当前视频理解评测存在严重偏差，对开发者选择模型和设计测试集具有重要警示意义。

打开原文相关 2.4 · 机会 0

中文

无需基础真值：诊断视频 LLM 基准测试中的视觉依赖性解离

摘要

arXiv:2607.13305v1 公告类型：新提交

视频大语言模型在基准测试中的准确率常被视为其视觉理解能力的证据。我们对这一假设进行审查，涵盖20个模型，参数范围从2B到78B，跨越十个架构家族。我们引入视觉依赖缺口这一诊断指标，用以衡量基准测试对视觉信息的真正依赖程度。结果揭示出一种普遍的“视觉依赖性解离”现象：许多基准测试的高分主要源自语言捷径或题目偏置，而非真实的视觉推理。该发现对当前视频 LLM 评测范式的有效性提出挑战，并呼吁开发更具视觉约束力的测试基准。

无需基础真值：诊断视频 LLM 基准测试中的视觉依赖性解离

中文

无需基础真值：诊断视频 LLM 基准测试中的视觉依赖性解离

摘要

BibTeX 格式引文

English / 原文

BibTeX formatted citation