语言模型在 RAG 中表现出从众偏差:当多数检索文档支持投毒虚假主张时
英文标题:Language Models Show Conformity Bias in RAG: When the Majority Endorses a Poisoned Claim
本研究探讨了检索增强生成(RAG)场景下,检索文档中相互印证的误导性证据对大语言模型辨别能力的影响。研究发现,当检索库中支持投毒虚假主张的共识文档数量增加时,语言模型表现出显著的“从众偏差”(Conformity Bias),其识别虚假信息的能力大幅下降。该结论揭示了针对知识库协同投毒和多数派操纵的重大安全风险,表明单纯增加检索文档并不能提高系统可信度。对开发者而言,构建生产级 RAG 架构时亟需引入多源交叉验证和抗协同投毒的防御机制,而不能单纯依赖模型的内在推理能力。
打开原文相关 2.4 · 机会 1
461 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.41012v1 公告类型:新发布(Announce Type: new)
摘要
检索增强生成(RAG)可能会使语言模型接触到检索文档中的误导性证据。我们研究了增加相互一致的投毒文档数量是否会影响模型检测虚假信息的能力。我们……
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×