诊断并纠正多模态大模型（MLLM）在长视频理解中的偏差
英文标题：Diagnosing and Correcting Bias in MLLM for Long Video Understanding
长视频问答任务极具挑战性，原因在于答案往往仅取决于分散在整段视频中的极少数决定性瞬间，而显存等硬件资源限制迫使多模态大语言模型（MLLM）采用极低采样率进行抽帧，进而导致关键信息丢失并引发模型推理偏差。针对该问题，本研究系统性诊断了 MLLM 在处理长视频时产生的偏差成因，并提出了相应的纠偏与校准机制。这一工作对优化长视频分析算法、提升多模态视频 Agent 的理解精度与计算效率具有重要指导意义。
打开原文相关 2.4 · 机会 0
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
摘要
长视频问答（Long-video question answering）极具挑战性，因为答案往往取决于散落分布在整个视频中的极少数决定性瞬间，而显存与计算资源限制迫使多模态大语言模型（MLLM）只能以极低帧率进行采样，从而导致信息丢失并引发推理偏差……
(注：arXiv:2610.36210v1 新论文发布)
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×