GAUGE：在面向任务型 Agent 的用户模拟评估中，何时不应信任 LLM 评审

英文标题：GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents

该论文探讨在面向任务型 LLM Agent 的用户模拟评估中，何时不应依赖 LLM-as-a-Judge 的评分结果。此类低成本离线评估通常让基于角色设定的 LLM 用户模拟器与候选 Agent 对话，再由 LLM 评审对对话记录打分并据此筛选 Agent。论文聚焦这一评估流程的可信边界，对开发者使用自动化评测来比较和选择任务型 Agent 具有参考意义。原文摘要未提供具体实验数据或结论细节。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB