注意输出上限:输出预算机制改变多语言推理差距的测量结果
英文标题:Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
该论文指出,多语言评测通常在单一输出 token 上限下报告准确率,但不同语言表达相同内容所需的 token 数并不相同,因此输出上限实际上是一个隐藏的实验变量。作者检验了输出预算设置是否会影响母语作答与翻译作答之间的性能差距测量。研究聚焦 MGSM 等多语言推理评测场景,对开发者和评测机构而言,这意味着模型跨语言能力比较应考虑语言间 token 消耗差异,而不能仅依赖统一的输出上限。
打开原文相关 1.6 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式化引用
English / 原文
BibTeX formatted citation
×