SciGame：让 Agent 在真实与反事实世界中展开科学发现游戏
英文标题：SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
大语言模型 Agent 越来越广泛地应用于科学发现，但现有评测基准通常将科学定律推断与编程实现混为一谈，偏向数据拟合打分而非未见输入的预测泛化，且未能有效区分经验证据与预训练记忆。为此，研究团队提出了 SciGame 基准，构建了涵盖真实世界与反事实世界的科学发现游戏环境。该工作为纯粹评估 Agent 从实验观测中归纳规律的科研推理能力提供了全新基准与评测范式。
打开原文相关 4.8 · 机会 1
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.37919v1 [cs.AI]
论文摘要
大语言模型（LLM）Agent 越来越广泛地被应用于科学发现任务。然而，现有的基准测试往往将定律推断与编程混为一谈，仅根据数据拟合情况打分而非评估对未见输入的预测能力，并且未能将经验证据与模型预训练记忆有效分离开来。为此，本研究提出了 SciGame，让 Agent 在真实世界以及反事实世界中进行科学发现游戏，以系统评估其科学推断与归纳能力。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×