一次成功不等于可靠性：Thinkingbox——面向有状态业务工作流中 Agent 的沙盒与基准测试

英文标题：One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

论文提出 Thinkingbox，这是一个用于评估 Agent 在有状态业务工作流中表现的沙盒与基准测试框架。作者指出，近年来的 Agent 基准测试越来越多地采用可执行环境，覆盖代码修复、网页导航、应用 API 和函数调用等任务。文章强调，在代码之外完成具有实际影响的工作，不能仅以一次看似合理的响应或一次成功执行作为可靠性的证明。该研究对开发者和行业的意义在于，Agent 评估需要更关注跨步骤状态、业务流程连续性与稳定完成任务的能力。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB