利用金丝雀工具诊断 LLM Agent 的工具选择推理

英文标题：Diagnosing Tool-Selection Reasoning in LLM Agents with Canary Tools

论文提出“金丝雀工具”（canary tools），用于诊断 LLM Agent 在工具选择环节为何出错。现有 Agent 评估通常只能发现模型选错了工具，却难以揭示具体原因。金丝雀工具被植入 Agent 的 Model Context Protocol（MCP）工具集中，每个工具专门探测一种特定的工具选择弱点。这一方法有望帮助开发者更细粒度地评估、定位并改进 Agent 的工具调用能力。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB