超越重叠：估计基准测试暴露的因果影响
英文标题：Beyond Overlap: Estimating the Causal Effect of Benchmark Exposure
论文指出，仅证明评测材料进入了模型训练数据，并不能说明这些材料对评测结果产生了多大影响。基准测试受污染后的分数因此难以解释：数据来源追踪只能证明模型与评测材料发生过接触。作者强调，只有通过反事实分析，才能量化这种训练暴露对评测表现的因果影响。该研究对开发者评估模型能力、识别基准污染以及设计更可靠的评测方法具有意义。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
超越重叠：估计基准测试暴露的因果影响
arXiv:2609.27176v1 公告类型：新论文
摘要
证据表明评测材料进入了训练数据，并不能揭示它对评测结果产生了多大影响。这一区别使受污染基准测试的分数难以解释：数据来源追踪可以证明存在接触，但只有反事实分析才能量化。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×