什么让 Terminal-Bench 任务变得困难？在经裁决的 Agent 语料库中区分真实难度与伪难度

英文标题：What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus

前沿基准测试需要设计当前模型尚无法完成的任务，但“没有模型通过”并不必然意味着任务本身具有真实难度。相同的零通过率，既可能反映模型存在真正的能力缺口，也可能源于缺失上下文、参考实现损坏等非能力因素。该研究聚焦于经裁决的 Agent 任务语料库，旨在区分真实困难任务与由数据、环境或评测设置问题造成的“伪困难”任务。这一方法对开发者构建可靠的 Agent 评测集，以及对行业准确衡量模型能力边界具有重要意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB