SWE-Duel:迈向可自扩展的编程 Agent 竞技场
英文标题:SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
论文指出,传统静态编程基准在发布后任务集固定,随着时间推移会泄漏到训练数据中。随着 Agent 能力增强,这类基准最终可能被“刷满”,难以继续有效区分模型能力。作者主张评测基准应具备自扩展能力,即在评测时动态创建任务及其评判机制(oracles),以持续适应更强的编程 Agent。
打开原文相关 6.4 · 机会 1
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×