生产环境中的高效基准测试：持续演进的 LLM Agent 研究
英文标题：Efficient Benchmarking in Production: A Study of an Evolving LLM Agent
随着 LLM Agent 在生产环境中的持续迭代与演进，开发者需要对其进行频繁的回归评估，但完整重跑全量基准测试往往面临高昂的成本与时间开销。本研究聚焦于一个每月服务数万活跃用户的生产级数据分析 Agent，系统探索了高效且低成本的周期性评估方案。论文总结了真实工业级场景下的第一手实践经验，为开发者在控制算力预算的同时持续保障 LLM Agent 的可靠性与性能提供了关键参考。
打开原文相关 4.8 · 机会 2
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文编号：arXiv:2609.21267v1
发布类型：new
摘要
生产环境中的 LLM Agent（大语言模型智能体）在其不断迭代演进的过程中需要经历反复评估，然而反复运行全量 Agent 基准测试的成本极其高昂。针对一个每月服务数万活跃用户的生产级分析型 Agent，我们系统研究了如何进行高效的周期性评估，并报告了来自真实业务落地的一手实践经验与洞察。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×