JudgeArena：用于可复现 LLM 裁判评估的统一框架

英文标题：JudgeArena: A Unified Framework for Reproducible LLM-Judge Evaluation

论文 JudgeArena 提出了一套面向可复现 LLM-as-a-judge 评估的统一框架。作者指出，当前用于语言模型排序的 LLM 裁判评估生态仍较为碎片化：多数基准各自维护代码库、硬编码特定闭源模型作为裁判，并且仅支持单一评估协议。该框架旨在为开发者和研究人员提供更统一、可复现的评估基础设施，以便比较不同语言模型及评估设置。论文编号为 arXiv:2608.02620v1，发布类型为 new。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB