在剧透与瞎猜之间：避免代码评测基准中的过度规范化
英文标题：Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks
基准测试一直是推动 AI 技术进步的核心驱动力，但目前的代码基准往往受到任务规范不足（Under-specification）与过度规范（Over-specification）的双重困境制约。任务描述不足会导致模型依赖盲目猜测，甚至催生数据污染与奖励作弊（Reward Hacking）；过度规范则容易剧透实现细节，削弱对模型真实问题解决能力的评估。该研究深入探讨了如何在代码评测中平衡约束粒度，对于构建更严谨、更贴近实际开发场景的 AI 编程评估体系具有重要指导意义。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2610.22760v1 发布类型：new
摘要
基准测试是推动 AI 进步的关键驱动力，但目前正受到任务“规范不足”（Under-specification）与“过度规范”（Over-specification）的制约。任务规范不足会导致模型进行瞎猜，使得解决方案不得不凭空编造，甚至更严重的是，会导致数据污染或奖励作弊（Reward Hacking）。而任务过度规范则……（原文未完）
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×