规范未言明之处：测试评分型代码 Agent 基准中的“规范-判定依据差距”
英文标题：What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
当前代码 Agent 基准测试普遍使用自然语言描述编程任务，但依赖上游项目的单元测试进行评分。研究指出，通过这些测试往往需要任务规范中从未明确提及的隐式信息（如特定常量名称、模块路径或精确报错文本），从而产生了“规范-判定依据差距”（Specification-Oracle Gaps）。这种脱节意味着评测结果可能无法真实反映 Agent 解决实际问题的能力，反而惩罚了合理但细节未指定的实现。该结论对大模型代码评测生态具有重要警示意义，提示行业需进一步优化基准测试中任务规格与验证标准的一致性与完备性。
打开原文相关 4 · 机会 1
2.0 KB
461 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.30635v1 [Announce Type: new]
摘要
代码 Agent 基准测试通常使用自然语言描述任务，但使用取自上游项目的测试用例来进行评分。然而，通过这些测试往往需要任务描述中从未明确陈述的信息：例如某个常量的名称、模块路径或确切的提示消息。我们……
BibTeX 格式引用
(注：原文此处仅为引用弹窗占位符号)
English / 原文
BibTeX formatted citation
×