CARGO：面向生产环境 Agentic AI 的上下文感知检索门控评估

英文标题：CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production

该论文提出 CARGO（Context-Aware Retrieval-Gated Evaluation），用于评估生产环境中的 Agentic AI 系统。论文指出，传统基于参考答案的 LLM-as-a-judge 评估通常假设参考答案就是唯一目标答案，但这一假设并不适用于处理支持工单、资产和账户等动态实体的已部署系统。对于这类系统，最接近的可用参考记录往往对应正确的处理流程，但未必与当前实体状态完全一致。该研究对开发者具有意义，因为它关注如何在动态业务上下文中更可靠地评估 Agent 的实际表现。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB