不要声称面向基准测试的优化能提升通用编程能力：需要多样化评估

英文标题：Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required

论文指出，后训练研究、模型卡和博客文章常将少数编程基准测试（如 SWE-bench 和 LiveCodeBench）的得分，视为模型具备广泛编程能力的证据。作者认为，这种从有限基准成绩推断通用编程能力的做法并不充分。论文主张采用更多样化的评估方式，以更可靠地衡量模型在不同编程任务中的实际能力。对开发者和行业而言，这意味着不应仅依据少数热门榜单判断编码模型或 Agent 的能力与实用性。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB