BioEVAL：面向生物工程的大语言与多模态模型全球多机构基准
英文标题：BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering
BioEVAL 是一项由全球 22 个研究团队共同发起的生物工程 AI 评测基准，覆盖 11 个主要生物工程子领域及未分类题目，共包含 608 道博士水平评测题。该基准由 380 道选择题、218 项文献综合任务和 10 道实验图像解读多模态题组成；经质量审计后，最终以 359 道保留选择题计算成绩。受测模型在选择题上的最高准确率达到 90%，文献综合任务最高相似度为 0.72，小样本多模态推理题最高准确率为 80%，但不同子领域之间的表现差异显著。对开发者而言，BioEVAL 提供了比事实记忆测试更贴近实验推理能力的标准化评测框架，也为生物工程模型的能力短板与后续优化方向提供了排行榜依据。
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 9 月 24 日]
标题：BioEVAL：面向生物工程的大语言与多模态模型全球多机构基准
作者：Shun Ye、Vinny Chandran Suja、Chenlong Li、Chongming Jiang、Reza Zamani、Xiang Li、Christopher Bain、Yuqi Zhou、Walker Peterson、Huidong Wang、Chenglang Hu、Jongchan Park、Xiao Cheng、Benjamin Swedlund、Sandra Murillo、Anjali Sivanandan、Shiyu Sun、Liang Lanfeng、Mohammad Tariqul Islam、Baju C. Joy、Ishaq N. Khan、Sreedhar S. Kumar、Gabriel Mercado-Vásquez、James V. Vizzard、Jonathan M. Matthews、Helen Huang、Xiaolu Guo、Ethan Nicklow、Guorui Chen、Ryan A. Neff、Surjendu Maity、Hyeonjin Park、Han-ho Joo、Katherine Dong、Yuyan Cai、Weihang Huang、Yichen Zou、Rui Yan、Raphael Figueroa、Artem Goncharov、Bella Rose Schremmer、Lian Elsa Linton、Keisuke Goda、Liang Gao、Ke Cheng、Leonardo Morsut、Jennifer L. Wilson、Jianping Fu、Lim Chwee Teck、Deblina Sarkar、Andreas Hierlemann、Savaş Tay、Alexander Hoffmann、Donald Richieri Griffin、Jun Chen、Shana O. Kelley、Shyni Varghese、Jinwoo Cheon、Wilbur A. Lam、James J. Moon、Wilson W. Wong、Samir Mitragotri、Dino Di Carlo
查看由 Shun Ye 与另外 61 位作者撰写、题为《BioEVAL：面向生物工程的大语言与多模态模型全球多机构基准》的论文 PDF。
摘要：大语言模型（LLM）已在通用推理方面展现出具有历史意义的突破，并在生物医学科学中取得早期成功。然而，现有 LLM 基准测试强调事实记忆，对模型在前沿任务及多模态任务上的表现提供的洞见有限。我们构建了 BioEVAL（BioEngineering Validation of AI and LLMs，即面向 AI 和 LLM 的生物工程验证），这是一项全球多机构倡议，旨在评估模型在各生物工程（BE）子领域中的实验推理能力。BioEVAL 覆盖 11 个主要 BE 子领域以及一组未分类题目，汇集 22 个研究团队，创建了一个包含 608 个评测项目、博士水平的基准：1）380 道多项选择题（MCQ，经审计后保留 359 道）；2）218 项文献综合任务；3）10 道包含实验图像解读的多模态问题。基准题目在评测前经过出题团队的专家审查和集中式质量控制。评测后，针对准确率最高和最低的 MCQ 题目进行了跨团队盲法共识审计，标记出 21 道需要修订或删除的问题；这些题目被暂缓纳入统计，所有报告的 MCQ 结果均基于保留的 359 道题目计算。我们评估了多种云端规模的基础模型／多模态模型（例如 ChatGPT、Gemini 和 Grok），以及适合在消费级 GPU 上进行推理的本地可部署模型。模型在 MCQ 上取得的最高准确率达到 90%，在文献综合任务上的最高相似度得分为 0.72，在小样本多模态推理问题上的最高准确率为 80%；不同子领域之间存在显著的性能差异。排行榜排名刻画了当前模型在所评估 BE 任务类别中的能力、局限性和开发优先方向。BioEVAL 将作为可扩展基准持续维护，并采用标准化协议，支持专家持续贡献题目及持续开展模型评测。
提交历史
提交者：Vinny Chandran Suja [
]
[v1]
2026 年 9 月 24 日，星期四，19:26:39 UTC（6,636 KB)
English / 原文
[Submitted on 24 Sep 2026]
Title:BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering
Authors:Shun Ye
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
View a PDF of the paper titled BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering, by Shun Ye and 61 other authors
Abstract:Large Language Models (LLMs) have demonstrated historic breakthroughs in general reasoning with early successes in biomedical science. However, existing LLM benchmarking emphasizes factual recall, offering limited insight into model performance on frontier and multimodal tasks. We assembled BioEVAL (BioEngineering Validation of AI and LLMs), a global, multi-institutional initiative designed to assess experimental reasoning capability across bioengineering (BE) subfields. BioEVAL spans 11 major BE subfields plus a set of uncategorized items, bringing together 22 research groups to create a PhD-level benchmark comprising 608 evaluation items: 1) 380 multiple-choice questions (MCQs, 359 retained after audit), 2) 218 literature synthesis tasks, and 3) 10 multimodal problems with experimental image interpretation. Benchmark items underwent authoring-group expert review and centralized quality control before evaluation. Following evaluation, a blinded cross-group consensus audit of the highest- and lowest-accuracy MCQ items flagged 21 questions for revision or removal; these were withheld, and all reported MCQ results are computed on the 359 retained items. We evaluated diverse cloud-scale foundation/multimodal models (e.g., ChatGPT, Gemini, and Grok) and locally deployable models suitable for inference on consumer-grade GPUs. Models achieved the highest accuracy of up to 90% on MCQs, similarity score of 0.72 on literature synthesis, and accuracy of 80% on a small sample of multimodal reasoning questions, with substantial performance variation across subfields. Leaderboard rankings characterize current capabilities, limitations, and development priorities across the evaluated BE task categories. BioEVAL is maintained as an extensible benchmark with standardized protocols for continuing expert item contribution and model evaluation.
Submission history
From: Vinny Chandran Suja [
]
[v1]
Thu, 24 Sep 2026 19:26:39 UTC (6,636 KB)