知其形式,不知其功能:自动审计法律基准中答案与权威依据的脱钩
英文标题:Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks
这篇 arXiv 预印本(arXiv:2608.02621v1)研究法律基准测试中“最终答案正确”是否能够作为模型法律权威依据扎实程度的代理指标。论文指出,法律基准通常只对最终答案评分,即使模型同时陈述了法律权威依据。作者在未要求提供法条引用的常规推理提示下进行测试,考察答案正确性与权威依据之间可能存在的脱钩现象。该研究提示开发者和评测机构,法律 AI 的评估不应仅关注答案对错,还应审计其引用或依赖的法律权威是否真实、相关且得到正确运用。
打开原文相关 2.4 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×