PhysMent:用于大语言模型物理问题推理的交互式评测方法
英文标题:PhysMent: An Interactive Approach For LLM Reasoning In Physics Problems
大语言模型(LLM)在传统静态科学基准测试中表现优异,但其通过主动实验对物理世界进行因果与动态推理的能力仍未被充分探索。为此,研究团队推出了全新评测基准 PhysMent,专注于在交互式实验环境中评估大模型的物理推理水平。该工作为检验 LLM 在具身环境与科学探索中的主动实验能力提供了标准化测试集,对推动 AI 科学研究(AI for Science)及具身智能体发展具有重要意义。
打开原文相关 2.4 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2609.13152v1 公告类型:新发布(new)
摘要
大语言模型(LLM)在静态科学基准测试中表现出色,但它们通过主动实验来对物理世界进行推理的能力仍知之甚少。为此,我们提出了 PhysMent,这是一个旨在评估 LLM 物理推理能力的全新基准测试。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×