SWORD：基于 Wikidata 的系统化扭曲揭示大语言模型事实错误拒绝中的跨语言不一致性
英文标题：SWORD: Wikidata-based Distortions Reveal Hidden Cross-Lingual Inconsistencies in LLM Factual Error Rejection
本文提出了 SWORD（基于 Wikidata 的系统化对象-关系扭曲方法），旨在深入评估大语言模型（LLM）识别并拒绝事实错误的能力。研究指出，当前主流的多语言基准往往只偏向奖励模型选出正确答案，从而掩盖了其在深层事实理解与校验上的缺陷。通过系统性扭曲实体关系测试发现，模型在不同语言间拒绝事实错误的能力存在严重的隐性不一致性。这一结论提示开发者在构建跨语言知识检索、事实核查与 Agent 应用时，不能仅依赖常规基准得分，需更加警惕跨语种的事实幻觉与鲁棒性短板。
打开原文相关 2.4 · 机会 0
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2609.09349v1 公告类型：new
摘要
现代大语言模型（LLM）展现出了令人瞩目的多语言能力，然而现有的标准基准主要倾向于奖励模型选出正确答案，而非评估其对事实的真正理解水平。为此，我们提出了 SWORD（基于 Wikidata 的系统化对象-关系扭曲，Systematic Wikidata-based Object-Relation Distortion）……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×