TRACER:针对间接提示注入的轨迹正则化训练
英文标题:TRACER: Trace-Regularized Training Against Indirect Prompt Injection
论文提出 TRACER,一种面向间接提示注入的训练方法。间接提示注入会利用不受信任的检索内容、工具输出或 Agent 消息,覆盖 LLM 原本应遵循的行为。研究发现,防御鲁棒性具有通道条件性:同一种攻击作为后续消息发送时,成功率可达 18%。这一结论表明,开发者在设计 Agent、检索增强和工具调用系统时,需要针对不同输入通道分别评估和训练安全防护能力。
打开原文相关 3.2 · 机会 2
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式的引用
English / 原文
BibTeX formatted citation
×