BLINDSPOT:面向长程工具调用 Agent 的安全性与拒绝校准基准测试
英文标题:BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents
随着大语言模型(LLM)Agent 逐步应用于涉及工具使用、持久化状态、权限动态变更及外部环境反馈的长程交互场景,安全风险往往在经过多轮交互后才会逐渐暴露。为此,研究团队提出了评测基准 BLINDSPOT,专门针对长程工具调用 Agent 的安全风险防范与拒绝响应校准进行系统化评估。该基准为开发者识别多步执行中的安全隐患、优化模型在复杂工作流中的过度拒绝与安全把控平衡提供了重要评估工具。
打开原文相关 7.2 · 机会 3
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2609.16305v1 公告类型:新提交 (Announce Type: new)
摘要
大语言模型(LLM)Agent 正日益在长程交互中运行,这些交互涉及工具使用、持久化状态、动态权限调整以及外部环境反馈。在此类场景下,安全隐患通常可能在经历多轮交互之后才会显现……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×