Omni-Woodpecker:面向全模态大模型(Omni LLMs)的证据-先验重平衡幻觉纠正框架
英文标题:Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
近期全模态大语言模型(Omni LLMs)在音视频联合推理中展现出优异能力,但跨模态幻觉仍是制约其实用性的核心挑战。现有缓解方案多在输出层面进行后处理,忽视了模型内部多模态证据与先验知识的纠缠问题。Omni-Woodpecker 提出通过重平衡输入证据与内在先验来纠正幻觉,为多模态推理的可信度优化提供了全新思路。该方法有助于开发者构建更鲁棒的端到端全模态应用,推动音视频联合理解技术在实际场景中的可靠落地。
打开原文相关 2.4 · 机会 0
612 B
380 B
9.1 KB
18.2 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要
近期全模态大语言模型(Omni LLMs, OLLMs)在音视频联合推理方面展现出卓越的能力,然而跨模态幻觉仍是一个重大挑战。现有的缓解方法主要集中在输出层面进行处理,忽视了模态证据与先验之间的纠缠机制……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×