位置、角色还是标签?LLM Agent 指令冲突的受控研究
英文标题:Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents
本研究深入探讨了 LLM Agent 在面对来自操作者、仓库配置、用户输入、工具返回结果及存储记忆等多源指令时的冲突问题。现有的指令层级基准主要关注更高优先级的来源是否能胜出,但一个输入来源在实际上下文中往往同时混杂并决定了位置(Position)、角色(Role)与标签(Label)三种不同维度的属性。这项受控研究旨在解耦并分析这些变量对模型指令遵循行为的独立影响,为开发者设计更具鲁棒性、能有效防御间接提示注入的 Agent 架构提供了关键理论指导与实践参考。
打开原文相关 3.2 · 机会 2
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
位置、角色还是标签?LLM Agent 指令冲突的受控研究
论文编号:arXiv:2610.33201v1
公布类型:新论文(Announce Type: new)
摘要
LLM Agent 通常会接收来自操作者(Operator)、代码仓库配置、最终用户、工具执行结果以及持久化记忆等多方来源的指令,而在实际执行中,这些指令之间往往存在矛盾与冲突。传统的指令分层(Instruction-hierarchy)基准测试往往只关注更高排名的指令来源是否能在对抗中胜出,但实际上,一个特定的指令来源往往会同时决定其上下文位置(Position)、系统/用户角色(Role)以及元数据标签(Label)。
BibTeX 引用格式
(待补充)
English / 原文
BibTeX formatted citation
×