前沿模型在行动前会主动寻找安全证据吗？
英文标题：Do Frontier Models Seek Safety Evidence Before Acting?
本研究探讨了前沿 AI 模型在采取行动前是否会主动获取与安全相关的证据，突破了以往仅评估模型在上下文中已有安全信息时被动反应的局限。研究团队提出了受控基准评测框架 SAFE，用于评估模型在决策前主动搜集安全证据的行为模式。这一研究将 AI 安全评测推进到更早期的决策节点，揭示了模型在缺乏关键安全上下文时盲目行动的潜在风险。对 Agent 与模型开发者而言，这强调了在构建自主智能体时引入主动求证与风险前置核查机制的必要性。
打开原文相关 4 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
前沿模型在行动前会主动寻找安全证据吗？
论文编号：arXiv:2609.17865v1
发布类型：新论文公告（Announce Type: new）
摘要
前沿模型（Frontier Models）的安全性评估，通常建立在安全相关信息已经存在于上下文（in-context）的前提下，考察模型如何应对这些提示。本项研究探讨了一个更前置的决策节点：模型在采取具体行动之前，是否会主动选择获取与安全相关的证据？
为此，研究团队引入了 SAFE——一个受控的基准评测体系（controlled benchmark），旨在系统评估前沿模型在面临不确定风险场景时主动搜集安全证据、验证安全状态的决策倾向与能力。
English / 原文
BibTeX formatted citation
×