更优的检索器，更差的标签：不完全相关性标注如何扭曲对话式 RAG 的拒答评估
英文标题：Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG
本研究揭示了对话式 RAG（检索增强生成）基准评测中普遍存在的评估失真问题。在 MTRAG、RETECO 等端到端评测体系中，系统需基于自身检索到的上下文决定回答或拒答（Abstention），而现有评测通常采用依赖不完全相关性标注的“捷径”来判断上下文充分性。结果表明，更强大的检索器由于能召回未被人工标注池覆盖的有效文档，反而更容易被判定为标签错误，导致拒答评估严重失真。这一结论对开发者和评测基准构建者具有重要警示意义：必须修正评估指标以避免对先进检索模型产生惩罚效应。
打开原文相关 2.4 · 机会 1
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
更优的检索器，更差的标签：不完全相关性标注如何扭曲对话式 RAG 的拒答评估
arXiv 论文编号：2610.40966v1
发布类型：新论文公告（Announce Type: new）
论文摘要
MTRAG 和 RETECO 等对话式检索增强生成（Conversational RAG）基准测试通常采用端到端方式评估检索与生成：每个系统均基于自身检索到的上下文进行回答，因此拒答（Abstention）行为的打分必须取决于每次检索到的上下文信息是否充分。
目前评测中常用的一种便捷“捷径”（shortcut）严重依赖预先构建的不完全相关性判断（Incomplete Relevance Judgments）。然而研究发现，这一捷径会导致评测偏差：性能更优的检索模型由于具备更强的泛化与召回能力，检索到了标注池之外的高度相关文档，但在不完备的标签体系下反而被判定为“检索不充分”或无效，从而导致对模型拒答与可靠性能力的评估发生系统性扭曲。
English / 原文
BibTeX formatted citation
×