🔶 LabBench：AI Agent 能决定下一步该做什么实验吗？
英文标题：🔶 LabBench: Can AI agents decide what experiment to run next?
LabBench 是一套包含 20 个任务的生物实验决策基准，基于真实药物发现和基因组学湿实验记录构建，要求 AI Agent 在隐藏实验室最终判断的情况下决定下一步实验。测试显示，GPT-6 Astra 与 Claude Opus 5.5 的平均标准通过率均约为 41%，但前者每项任务的中位耗时仅 5 分钟，约为后者的七分之一。Agent 更擅长解释既有实验结果，而在选择、承诺或排序下一项实验时仅通过 21% 的标准，且没有任何 Agent 通过所有关于“应优先进行哪项实验”的标准。研究还发现，只要用一句提示将模型注意力导向其已掌握的证据，GPT-6 Astra 就能在五项此前失败的核心决策中全部翻盘，说明瓶颈更多在于可靠地调取和整合知识，而非单纯缺少生物学知识。
30.1 KB
176.3 KB
103.4 KB
99.1 KB
67.8 KB
中文
生物实验的加速依赖于快速决定下一步该做什么实验。选择能够最快证伪或支持某个假设的测试方案，是目前只有人类专家才能稳定完成的技能。若要将科学发现的规模扩展到超越人类能力，我们必须在这一能力上评估并改进 AI Agent。
LabBench 包含 20 个保留测试任务，基于药物发现和基因组学领域的真实湿实验室记录构建。每个任务都是一个时间快照：Agent 获得某个决策节点时已存在的记录，但实验室当时的解读和决策会被隐藏。Agent 必须承诺采取下一步行动，并根据与实验室实际决策相关的 20 至 22 条二元标准进行评分。
从实验室档案到可评分任务
- 挖掘（Mine）：找到已记录的决策及其证据。
- 组装（Assemble）：提供记录，隐藏最终决策。
- 评分量表（Rubric）：根据真实答案制定 20 至 22 条二元标准。
- 加固（Harden）：对能被求解器轻易通过的任务重新设计。
- 审查（Review）：由生物学家验证每个任务。
这些任务来自不太可能被公开互联网记忆到的真实实验室数据。我们预期 Agent 能像真正的研究人员一样浏览证据，而不是依赖任务简介直接指出关键信息。
结果
5 个前沿 Agent 均在各自厂商的测试框架中，每项任务运行一次。
最佳 Agent 每五项标准仅能通过两项
平均通过标准的比例；区间线表示 95% 区间。
| Agent | 平均通过率 | 95% 区间 |
|---|---|---|
| GPT-6 Astra | 40.8% | 34–48 |
| Claude Opus 5.5 | 40.5% | 33–49 |
| Grok 4.7 | 29.6% | 23–37 |
| Muse Spark 1.3 | 28.2% | 23–34 |
| Gemini 3.8 Flash | 18.4% | 13–24 |
GPT-6 Astra 和 Claude Opus 5.5 的成绩并列，但 Astra 每项任务的中位耗时为 5 分钟，而 Opus 为 35 分钟。
相同得分，速度快七倍
得分与每项任务中位耗时的关系（对数尺度）。
| Agent | 得分 | 每项任务中位耗时 |
|---|---|---|
| GPT-6 Astra | 40.8% | 5 分钟 |
| Claude Opus 5.5 | 40.5% | 34.6 分钟 |
| Grok 4.7 | 29.6% | 14.2 分钟 |
| Muse Spark 1.3 | 28.2% | 4.5 分钟 |
| Gemini 3.8 Flash | 18.4% | 13.3 分钟 |
按图中四舍五入后的标注：GPT-6 Astra 为 40.8%、5 分钟；Claude Opus 5.5 为 40.5%、35 分钟；Grok 4.7 为 29.6%、14 分钟；Muse Spark 1.3 为 28.2%、4.5 分钟；Gemini 3.8 Flash 为 18.4%、13 分钟。
Agent 会在相同标准上失败
406 条标准中，有 182 条没有任何 Agent 通过，31 条被全部 5 个 Agent 通过。一个前沿 Agent 漏掉的内容，其他 Agent 通常也会漏掉。
45% 的标准没有被任何 Agent 通过。
按通过该标准的 Agent 数量统计的标准分布：
| 通过该标准的 Agent 数量 | 分类 |
|---|---|
| 0 | 无（none） |
| 1 | 1 个 Agent |
| 2 | 2 个 Agent |
| 3 | 3 个 Agent |
| 4 | 4 个 Agent |
| 5 | 全部 5 个（all 5） |
它们会解读，但不会选择
Agent 很擅长解读此前的实验：说明某项测量是什么、拒绝过度推断、重建分析过程。要求进行选择、承诺或排序的标准，通过率仅为 21%；而要求识别某事物是什么的标准，通过率为 47%。没有任何 Agent 通过 13 条关于“哪项实验应优先进行”的标准。
选择是最困难的一步
按标准所要求能力划分的通过率；“无”表示没有任何 Agent 通过的比例。
| 标准所要求的能力 | 通过率 | 无 Agent 通过的比例 |
|---|---|---|
| 识别某事物是什么 | 47% | 32% |
| 重建或解释 | 38% | 37% |
| 限定一项主张的适用范围 | 33% | 39% |
| 整合证据 | 31% | 38% |
| 量化或读取结果 | 30% | 46% |
| 选择、承诺或排序 | 21% | 64% |
Agent 的差异所在
Astra 在核心决策上领先（52%），Opus 在证据整合上领先（53%）。在实验设计方面，表现最好的 Agent 也只通过了 9%。
没有任何 Agent 能设计下一项实验
各项技能标准的通过比例；技能名称旁为标准数量。
| 技能（标准数） | GPT-6 Astra | Claude Opus 5.5 | Grok 4.7 | Muse Spark 1.3 | Gemini 3.8 Flash |
|---|---|---|---|---|---|
| 方法重建（42） | 50% | 43% | 38% | 33% | 38% |
| 测量语义（43） | 56% | 44% | 40% | 33% | 28% |
| 证据状态（41） | 51% | 49% | 44% | 39% | 12% |
| 比较与基线（40） | 48% | 50% | 32% | 35% | 30% |
| 混杂因素与数据质量（27） | 37% | 52% | 44% | 33% | 15% |
| 适用范围与泛化（29） | 48% | 52% | 24% | 31% | 21% |
| 定量解读（55） | 45% | 42% | 40% | 31% | 16% |
| 核心决策（23） | 52% | 43% | 30% | 26% | 17% |
| 证据整合（36） | 47% | 53% | 22% | 36% | 11% |
| 实验设计（7） | 0% | 3% | 9% | 0% | 3% |
注：原始图表文本中，“Experiment design”一行末尾还出现一个额外的“3”，但其余数据结构对应上述 5 个 Agent；本文保留了可与图表标题及正文“最佳 Agent 通过 9%”一致的数值。
决策比分析更难
按主题和任务类型划分的标准通过比例。
图表比较了以下 Agent：GPT-6 Astra、Claude Opus 5.5、Grok 4.7、Muse Spark 1.3、Gemini 3.8 Flash。
研究主题：
- 新生转录（nascent transcription），n=42
- 基因调控（gene regulation），n=60
- 三维基因组（3D genome），n=62
- 药物反应（drug response），n=101
- Hit-to-lead 化学优化，n=40
- 靶点验证（target validation），n=41
- 检测开发（assay development），n=60
任务类型：
- 分析任务（Analyze tasks），n=261
- 审查任务（Review tasks），n=84
- 设计任务（Design tasks），n=61
图表纵轴范围为 0% 至 60%。
知识是潜在的
困难基准测试的一个常见问题是：评分标准不合理，使任务实际上不可能完成。我们直接测试了这一点。对于 5 个没有任何 Agent 通过的核心决策，我们补充了一句话，指出 GPT-6 Astra 已经拥有的证据，但不说明答案。它通过了全部 5 项。
一句话改变决策
GPT-6 Astra 的任务得分。5 个任务的核心决策均从失败转为通过。
| 任务 | 基准测试运行 | 加入一句提示后 |
|---|---|---|
| 接下来两项实验：药物反应 | 20% | 75% |
| 染色体模型审查：三维基因组 | 23% | 64% |
| 候选编码转录本：新生转录 | 50% | 82% |
| 跨数据集的 motif 证据：基因调控 | 35% | 60% |
| 文库制备选择：检测开发 | 35% | 40% |
每个加入提示的任务仅运行一次。
药物反应
任务记录中的四种死亡诱导剂在 15 分钟时的 NF-κB 信号（化合物名称已隐藏）。
证据
一种化合物在四种死亡诱导剂中触发了最强的早期 NF-κB 特征；但没有任何实验测试它是否驱动细胞死亡。
Agent
5 个 Agent 中有 4 个设计了 NF-κB 测试，但将其排在第二位。
提示
“将能够区分原因与伴随现象的实验排在第一位。”得分：4/20 → 15/20。
检测开发
5 µL Tn5、2 分钟：峰值为 210 bp，尾部干净。这是实验室的选择。
2.5 µL Tn5、5 分钟：峰值为 238 bp，存在宽阔的大型片段肩峰。所有 Agent 的选择。
Agent
全部 5 个 Agent 都选择了更大的 238 bp 峰值，并忽略了未切割 DNA 所形成的肩峰。
提示
“根据每条 tagmentation 轨迹的完整尺寸分布进行判断……”Agent 随后选择了实验室采用的条件。
这些提示没有增加任何生物学知识；它们只是重新引导了注意力。模型拥有相关知识，但无法稳定地将其调取出来。
推理瓶颈
当前前沿 Agent 拥有足够的生物学知识，能够在实验设计仍由人类负责的前提下与专家生物学家协作。但它们独立设计实验的能力较弱：它们无法坚定地选择一项实验，也无法从备选方案中辨别出最优实验。
在真实的生物实验中，现实时间（wall-clock time）不可消除。细胞会按照自己的时间表生长、分化和响应，每个实验都会消耗数周时间和实验材料。能够自主且正确地进行实验设计，或许是让 AI Agent 在这些任务上超越人类的最重要单一能力。
LabBench 直接衡量这一能力。更好的结果应当意味着 Agent 能够开展受监督的自主湿实验室实验，并最终自行运行完整的研究项目。为实现这一目标，模型必须形成一个更连贯的世界模型，理解实验的成本，以及哪些特定证据能够反驳某项假设。
与我们合作
Gamow Labs 具备独特能力，可在 AI 与生物实验的前沿产出数据。我们能够大规模生成上述任务。欢迎联系。
完整方法见预印本论文。我们也在招聘。
English / 原文
Accelerating biological experimentation relies on quickly deciding which experiment comes next. Picking the test that can fastest invalidate or support a hypothesis is a skill only human experts perform reliably today. To scale discovery past human capability, we have to evaluate and improve AI agents on it.
LabBench is 20 held-out tasks built from real wet-lab records in drug discovery and genomics. Each is a snapshot in time: the agent gets the records that existed at a decision point, and the lab’s interpretation and decision are withheld. It must commit to the next step, graded against 20–22 binary criteria tied to what the lab actually decided.
From lab archive to graded task
- Mine Find recorded decisions and their evidence.
- Assemble Give the records; withhold the decision.
- Rubric 20–22 binary criteria from the true answer.
- Harden Rework tasks a solver passes trivially.
- Review Biologists verify every task.
The tasks come from real lab data unlikely to be recalled from the open internet. We expect the agent to navigate the evidence as a real researcher would, without the brief pointing to what matters.
Results
Five frontier agents each ran once per task in their vendor’s harness.
The best agents pass two in five criteria
Mean share of criteria passed; line is the 95% interval.
GPT-6 Astra40.8%34–48
Claude Opus 5.540.5%33–49
Grok 4.729.6%23–37
Muse Spark 1.328.2%23–34
Gemini 3.8 Flash18.4%13–24
0255075100%
GPT-6 Astra and Claude Opus 5.5 tie, but Astra took a median 5 minutes per task to Opus’s 35.
Same score, seven times faster
Score against median minutes per task (log scale).
0%20%40%60%
GPT-6 Astra40.8% · 5 minClaude Opus 5.540.5% · 34.6 minGrok 4.729.6% · 14.2 minMuse Spark 1.328.2% · 4.5 minGemini 3.8 Flash18.4% · 13.3 min
35102040
GPT-6 Astra 40.8%, 5 minClaude Opus 5.5 40.5%, 35 minGrok 4.7 29.6%, 14 minMuse Spark 1.3 28.2%, 4.5 minGemini 3.8 Flash 18.4%, 13 min
Agents fail the same criteria
182 of 406 criteria were passed by no agent; 31 by all five. What one frontier agent misses, the others usually miss too.
45% of criteria were passed by no agent
Criteria by number of agents passing them.
none1234all 5
They interpret; they don’t choose
Agents excel at interpreting previous experiments: saying what a measurement is, declining an overclaim, reconstructing an analysis. Criteria that require choosing, committing or ranking pass 21% of the time, against 47% for identifying what something is. No agent passed any of the 13 criteria on which experiment should come first.
Choosing is the hardest move
Pass rate by what the criterion asks; “none” = share no agent passed.
Identify what something is47%none: 32%
Reconstruct or explain38%none: 37%
Qualify a claim33%none: 39%
Integrate evidence31%none: 38%
Quantify or read out30%none: 46%
Choose, commit or rank 21%none: 64%
0255075100%
Where agents differ
Astra leads on core decisions (52%), Opus on evidence integration (53%). On experiment design, the best agent passes 9%.
No agent can design the next experiment
% of each skill’s criteria passed (criteria count beside skill).
GPT-6
AstraClaude
Opus 5.5Grok
4.7Muse
Spark 1.3Gemini
3.8 FlashMethod reconstruction 425043383338Measurement semantics 435644403328Evidential status 415149443912Comparison & baseline 404850323530Confounds & data quality 273752443315Scope & generalization 294852243121Quantitative reading 554542403116Core decision 235243302617Evidence integration 364753223611Experiment design 7039033
Deciding is harder than analyzing
% of criteria passed, by theme and task type.
GPT-6 AstraClaude Opus 5.5Grok 4.7Muse Spark 1.3Gemini 3.8 Flash
Nascent transcriptionn=42
Gene regulationn=60
3D genomen=62
Drug responsen=101
Hit-to-lead chemistryn=40
Target validationn=41
Assay developmentn=60
Analyze tasksn=261
Review tasksn=84
Design tasksn=61
0204060%
The knowledge is latent
A common issue with hard benchmarks is unreasonable criteria that make tasks effectively impossible. We tested this directly. On five core decisions no agent passed, we appended one sentence pointing at evidence GPT-6 Astra already had, without stating the answer. It passed all five.
One sentence flips the decision
GPT-6 Astra’s task score. The core decision flipped from fail to pass in all five.
Benchmark runWith one added sentence
Next two experimentsdrug response20% → 75%
Chromosome model review3D genome23% → 64%
Candidate coding transcriptsnascent transcription50% → 82%
Motif evidence across datasetsgene regulation35% → 60%
Library preparation choiceassay development35% → 40%
0255075100%
One run per hinted task.
Drug response
NF-κB signaling at 15 minutes under four death inducers, from the task’s records (compound names withheld).
Evidence
A compound triggers the strongest early NF-κB signature of four death inducers; nothing tests whether it drives death.
Agents
Four of five designed the NF-κB test, then ranked it second.
Hint
“Rank first the experiment that could tell a cause from a bystander.” Score: 4/20 → 15/20.
Assay development
5 µL Tn5, 2 min: peak 210 bp, clean tail. The lab’s choice. 2.5 µL Tn5, 5 min: peak 238 bp, broad large-fragment shoulder. Every agent’s choice.
Agents
All five chose the larger 238 bp peak and ignored the shoulder of uncut DNA.
Hint
“Judge each tagmentation trace by its whole size distribution…” The agent chose the lab’s condition.
The hints add no biology; they redirect attention. The models have the knowledge but do not reliably recall it.
A reasoning bottleneck
Frontier agents know enough biology to work alongside expert biologists when experimental design stays with humans. Their ability to design experiments independently is weak: they fail to commit to an experiment and to discriminate the best one from the alternatives.
In real biological experimentation, wall-clock time is irreducible. Cells grow, differentiate and respond on their own schedules, and each experiment consumes weeks and material. Autonomous and correct experimental design is arguably the single most important capability for making AI agents superhuman at these tasks.
LabBench measures this directly. Improved results should indicate agents that can carry out supervised, autonomous wet-lab experimentation, and eventually run full programs themselves. To get there, models must develop a more cohesive world model of what experiments cost and of the specific evidence that would count against a hypothesis.
Work with us
Gamow Labs is uniquely equipped to produce data at the frontier of AI and biological experimentation. We are capable of producing the aforementioned tasks at scale. Reach out.
Full methods are in the preprint. We’re also hiring.