AuditKIT：用于大语言模型与 Agent 智能体系统基准测试、评判及比对的统一评估框架

英文标题：AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems

评估大语言模型与 Agent 智能体系统需要综合考量基准准确率、基于裁判模型的评估、运行时性能、工具调用行为及检索质量等多维指标。然而，现有评测工具在接口协议、指标语义和追踪格式上的割裂，极大地增加了横向对比与分析的复杂度。为此，研究人员提出了 AuditKIT，构建了一套贯穿基准测试、模型评判与多维比对的统一评估骨架（Unified Evaluation Spine）。该框架有助于开发者和行业建立标准化、可复现的 LLM 与 Agent 评测工作流，推动评估生态的规范化。

打开原文相关 8 · 机会 3

中文

AuditKIT：用于大语言模型与 Agent 智能体系统基准测试、评判及比对的统一评估框架

论文编号：arXiv:2610.22511v1
发布类型：新论文速递（Announce Type: new）

摘要

评估语言模型和 Agent 智能体系统需要综合基准准确率（benchmark accuracy）、基于裁判（LLM-as-a-Judge）的评估、运行时性能（runtime performance）、工具调用行为（tool-use behavior）以及检索质量（retrieval quality）。接口、指标语义和执行追踪格式（trace formats）的差异使这些对比变得异常复杂。AuditKIT 提出了统一的评估骨干框架（Unified Evaluation Spine），旨在系统性地解决大语言模型与智能体系统在基准测试、质量评判及多维比对中的割裂难题。

AuditKIT：用于大语言模型与 Agent 智能体系统基准测试、评判及比对的统一评估框架

中文

AuditKIT：用于大语言模型与 Agent 智能体系统基准测试、评判及比对的统一评估框架

摘要

BibTeX 格式引用

English / 原文

BibTeX formatted citation