智能体过度信任工具:量化评估 Agent 对不可靠工具的依赖
英文标题:Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools
现有对工具调用型智能体(Agent)的评估主要关注其完成任务的能力,通常默认外部工具返回的信息完全可靠。然而在真实生产环境中,工具的调用结果常伴随延迟、错误、噪声甚至欺骗性内容。该研究针对 Agent 对不可靠工具的过度依赖(Over-reliance)问题展开量化测量,揭示了主流智能体在面对工具失效时的脆弱性。这一结论提示开发者在构建 Agent 架构时,必须引入交叉验证与异常容错机制,避免对外部 API 和工具输出的盲目信任。
打开原文相关 3.2 · 机会 4
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文信息与摘要
- arXiv 编号:arXiv:2609.05587v1
- 公告类型:new
摘要
现有的工具调用型智能体(Tool-using Agents)评估体系,主要衡量智能体能否借助工具成功完成各类复杂任务。这些基准测试普遍默认工具能够返回完全可靠的信息。
然而,在真实系统环境中,工具的返回结果往往并不稳定,可能存在不可靠、含噪声或错误的情况。该研究深入探讨并量化了智能体在工具不可靠时仍盲目信任并依赖工具输出的现象与潜在风险。
English / 原文
BibTeX formatted citation
×