北极之问与缺失之解：评估大语言模型在北极科学问答中弃权能力的数据集与基准 ArcticQA
英文标题：Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science
研究人员提出了针对北极科学领域的全新基准数据集 ArcticQA，包含 194 道专业多项选择题。该研究核心探讨了大语言模型（LLM）在面对无有效选项的科学问题时是否具备“弃权”（拒绝回答）的能力，并指出单纯频繁弃权并不等同于模型对答案可用性具备真正敏感度。该基准为量化 LLM 在高专业度、小众科学领域的置信度校准与幻觉抑制提供了标准化测试方案。对开发者和行业而言，提升模型识别“知识盲区”和主动拒答的能力，是构建可信科学 AI 助手的关键一步。
打开原文相关 2.4 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文基本信息
- arXiv 编号：arXiv:2610.09446v1
- 公告类型：new
摘要
当面对所有选项均无效的科学多项选择题时，大语言模型（LLM）应当选择弃权（abstain）。然而，仅仅依靠频繁弃权，并不能证明模型对“答案是否存在/可用”具备真正的敏感度。为此，我们提出了 ArcticQA——一个包含 194 道衍生自北极科学专业问题的全新数据集与评估基准，用于系统测试大语言模型在科学场景下的弃权决策与可靠性。
English / 原文
BibTeX formatted citation
×