SAFETY SENTRY：通过执行-询问-拒绝路由实现上下文感知的人工干预

英文标题：SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

本文提出了SAFETY SENTRY系统，针对LLM代理在真实环境中执行工具调用可能引发不可逆伤害的问题，改进了传统的安全守卫模型。该模型不再仅做简单的安全/不安全二元判断，而是引入执行-询问-拒绝路由机制，能够区分需要直接拒绝的动作和需要人工介入确认的动作。此方法在平衡安全与任务效率方面为开发者提供了更精细的控制手段，对构建安全可靠的AI代理具有重要意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB