在编码评估中区分信号与噪声
英文标题：Separating signal from noise in coding evaluations
OpenAI 对流行的编程基准 SWE-Bench Pro 展开分析，发现其存在数据噪声和评估可靠性问题。该基准的缺陷可能导致对模型编程能力的高估或误判，影响开发者对 AI 模型的真实认知。分析强调需在评估中分离有效信号与干扰噪声，这对构建更可信的编码能力测试体系具有重要意义。
打开原文相关 4.8 · 机会 1
中文
近日，OpenAI 发布了对 SWE-Bench Pro 编程评估基准的最新分析。SWE-Bench Pro 广泛应用于衡量 AI 模型的软件工程与代码生成能力，但本次分析指出该基准的内部数据混杂着大量“噪声”，可能扭曲了模型在真实编码任务中的表现。
研究强调，当前评估框架未能有效区分有意义的信号与由数据构建缺陷、标签模糊等因素引入的无关波动。这导致部分高分模型在实际开发场景中难以复现基准中的优越表现。OpenAI 呼吁社区共同审视基准的构建方式，并探索更透明、更具区分度的评估方案，以确保未来编程智能体的进展建立在可靠基础之上。
English / 原文
Enable JavaScript and cookies to continue