RideWay：评估工具使用型语言 Agent 高效任务完成能力的基准测试
英文标题：RideWay: Benchmarking Efficient Task Completion for Tool-Using Language Agents
当前 AI Agent 通常仅以任务是否完成作为单一评估指标。但在实际交互式服务场景中，即便任务最终成功，Agent 也可能因重复提问、冗余搜索或不必要的反复修改而严重伤害用户体验。为此，研究团队推出了 RideWay 基准测试，专注于评估工具使用型语言 Agent 的高效任务完成能力。该基准不仅关注任务成功率，还深入度量交互效率与资源开销，为开发者优化交互式 Agent 的调用成本与用户体验提供了全新的评估范式。
打开原文相关 4 · 机会 3
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文编号：arXiv:2609.17985v1 发布类型：最新发布 (new)
摘要
AI Agent 通常仅通过其是否完成了某项任务来进行评估。然而在交互式服务场景中，一个即便最终完成了任务的 Agent，也可能因为重复提问、执行冗余搜索或产生可避免的反复修改，而让用户感到沮丧失望。为此，我们推出了 RideWay 基准测试……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×