PROVISO：面向安全 LLM Agent 的数据来源感知动作选择机制
英文标题：PROVISO: Provenance-Informed Action Selection for Secure LLM Agents
LLM Agent 通过工具与第三方技能直接作用于外部现实世界，单次恶意或错误操作即可造成不可逆的严重危害。现有防御机制在判定拟执行动作时，普遍未能有效追踪指令内容究竟来自受信任用户还是不可信的外部数据源。针对这一安全缺陷，研究团队提出了 PROVISO，一种基于数据来源（Provenance）感知的动作选择机制。该研究为防御间接提示词注入与构建生产级安全 Agent 架构提供了关键设计思路。
打开原文相关 3.2 · 机会 3
2.0 KB
640 B
612 B
380 B
9.1 KB
18.2 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要
LLM Agent 通过工具和第三方技能与外部世界进行交互并产生实际影响，因此单次执行的动作就可能带来不可逆的危害。现有的安全防御机制在判定拟执行动作时，通常没有追踪该动作的内容究竟是源自用户指令，还是来自不可信的外部数据源……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×