Era by Eon Benchmark：具备精确真值、用于评测 LLM Agent 的生成式企业环境

英文标题：The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents

论文提出 Era by Eon Benchmark，用于评测能够调用企业工具的 LLM Agent。该基准构建了一个生成式企业系统环境，并提供精确的 ground truth（真值），以解决无法直接使用客户生产数据进行评测的问题。作者指出，现有替代方案缺乏可靠真值，因而难以准确衡量 Agent 在企业记录系统中的表现。该基准有望为企业 Agent 的能力评估、工具调用可靠性测试和研发迭代提供更可控的测试环境。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB