当审计者开始捏造：大模型在检测文档人为植入错误时的批处理规模衰减与自信幻觉

英文标题：When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination

大语言模型（LLM）正日益被提议作为文档质量的自动化审计工具，但其检测人为植入错误的可靠性尚未得到充分探究。最新研究构建了一个涵盖供应链管理等领域的150篇学术论文污染语料库，重点测试模型在审计场景下的检测能力。研究揭示了LLM在文档质检任务中普遍存在的“批处理规模性能衰减”以及高置信度“自信幻觉”问题。该结论对依赖LLM进行合规审计、论文审稿与内容质检的开发者和行业应用敲响了警钟，表明盲目信任自动化审查工具存在重大隐患。

打开原文相关 2.4 · 机会 0

中文

arXiv:2609.09696v1 公告类型：新增（new）

摘要

大语言模型（LLM）正越来越多地被提议作为文档质量的自动化审计工具，然而它们作为“人为植入错误（planted errors）”检测器的可靠性却仍缺乏深入的表征与评估。为此，我们构建了一个包含 150 篇学术论文（涵盖供应链管理等领域）的受污染语料库，系统探究大模型在识别文档人工污染时的真实表现与失效率。

当审计者开始捏造：大模型在检测文档人为植入错误时的批处理规模衰减与自信幻觉

中文

摘要

BibTeX 格式引用

English / 原文

BibTeX formatted citation