多少任务才算足够？对公开 LLM Agent 基准的复盘分析

英文标题：How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks

该论文探讨智能体基准测试中，仅执行部分任务能否得出与完整运行一致的成对比较结论。作者指出，由于完整评估成本高昂，部分任务运行虽具吸引力，但仅凭任务完成比例无法判断其结论是否可靠。研究通过复盘公开的大语言模型智能体基准，为开发者提供关于基准测试效率与准确性的新认识。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB