形式主义陷阱:社会压力下,LLM-as-a-Judge 评估器是否会因模仿共识而失明?
英文标题:The Formalism Trap: Are LLM-as-a-Judge Evaluators Blinded by Consensus Mimicry under Social Load?
论文提出“Agentic Formalism Trap(智能体形式主义陷阱)”以及评估失调指数(Evaluative Dissonance Index,$D_E$)。作者旨在量化 LLM-as-a-Judge 系统在对抗性压力下,如何将结构化的程序合规性与语义真实性混为一谈。研究分析了 22,500 条轨迹,关注评估模型是否会在社会性负载下模仿表面共识而偏离事实判断。该工作提示开发者,在构建 Agent 评估、模型裁判和自动化审核系统时,不能仅依赖形式规范、投票一致性或程序化信号。
打开原文相关 3.2 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式化引用
English / 原文
BibTeX formatted citation
×