面向 Agentic AI 自动化系统的有界自主性与可验证安全
英文标题：Bounded Autonomy and Verifiable Safety for Agentic AI Enabled Automation
针对基于 Agentic AI 的自动化系统，本文指出仅依赖概率推理无法在高风险环境中实现安全部署。研究提出，随着推理过程的逐步加深，系统可能产生“认知漂移”（epistemic drift），从而偏离领域专家制定的安全与合规约束。为此，论文探讨了通过“有界自主性”与“可验证安全”来约束 Agent 行为的技术路径。这对于正在高可靠性、高安全性场景落地 AI Agent 架构的开发者和行业架构师具有重要的参考价值。
打开原文相关 4 · 机会 1
2.1 KB
461 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
面向 Agentic AI 自动化系统的有界自主性与可验证安全
arXiv 编号：arXiv:2610.08815v1
公告类型：new
摘要
仅依靠概率推理，基于 Agentic AI 赋能的自动化系统无法在高风险环境中安全部署。一个普遍存在的风险是认知漂移（epistemic drift）：随着推理深度的增加，系统行为可能会逐渐脱离领域专家（SME）设定的约束条件。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×