裁判者至关重要：在 LLM-as-Judge 评审团中评估模型家族偏好

英文标题：Who Judges Matters: Measuring Family-Conditioned Preference in LLM-as-Judge Panels

本研究探讨了在大语言模型作为裁判（LLM-as-Judge）机制中，评委模型自身对评估结果产生的系统性影响，重点解决了如何将评委模型偏好与候选模型的实际生成质量相剥离的测量难题。研究团队采用全交叉成对比较设计，系统评估了 Llama 3.1、Qwen 2.5、Gemma 2 和 Yi 1.5 四大开源权重模型家族的家族特定偏好（Family-Conditioned Preference）。该研究揭示了自动评估流程中存在的隐性模型家族倾向，对开发者设计多模型裁判评审团、构建无偏大模型对齐与评测基准具有重要指导意义。

打开原文相关 2.4 · 机会 0

中文

论文编号：arXiv:2609.17857v1
发布类型：新论文（Announce Type: new）

摘要

在“大语言模型作为裁判”（LLM-as-a-judge）的评测机制中，裁判模型的选择会直接影响评估结果。然而，如何在不与候选模型本身的生成质量相混淆的前提下精准测量这种效应，一直是一项挑战。本研究在全交叉成对比较实验设计中，深入研究了四大开源权重模型家族（Llama 3.1、Qwen 2.5、Gemma 2 和 Yi 1.5），旨在量化和测量评审团内部由模型家族所引发的偏好偏差（Family-Conditioned Preference）。

裁判者至关重要：在 LLM-as-Judge 评审团中评估模型家族偏好

中文

摘要

BibTeX 格式引用

English / 原文

BibTeX formatted citation