SciLitBench:基于大语言模型的系统文献综述基准与设计原则
英文标题:SciLitBench: Benchmark and Design Principles for LLM-Powered Systematic Literature Reviews
系统性文献综述通常需要研究人员在数以千计的文献记录中进行持续的人工研判,但现有对大语言模型(LLM)的评测大多局限于孤立考察综述的单一阶段。为此,研究团队提出了 SciLitBench,这是一个跨越标题与摘要筛选等多阶段任务的综合性评估基准。该研究旨在探索大模型在复杂学术综述流程中的实际表现,并提炼关键设计原则。这为学术科研智能体(Agent)、文献检索与知识整合工具的开发者提供了重要的评估标准与工程落地指导。
打开原文相关 2.4 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
SciLitBench:基于大语言模型的系统文献综述基准与设计原则
arXiv 编号:2609.05505v1
发布类型:new
摘要
系统文献综述(Systematic reviews)要求研究人员在数以千计的文献记录中保持持续的人工审判,然而目前对大语言模型(LLM)的评估通常将文献综述的各个阶段割裂开来孤立测试。我们提出了 SciLitBench,这是一个跨越标题与摘要筛选等多阶段任务的综合基准……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×