SANE：面向 LLM 裁判的自动化定制蜕变测试

英文标题：SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

本文提出了面向大语言模型（LLM）裁判的自动化定制蜕变测试（Metamorphic Testing）方法 SANE。随着 LLM 裁判在基准评测、模型选型、数据清洗及训练流程中扮演核心角色，其判决结果唯有在面对影响评分准则的变化时保持可靠响应才具备实际效用。针对现有裁判可靠性测试方法的不足，该研究探索了更具针对性的自动化蜕变测试方案。这项工作对提升大模型评估系统的可信度与工程落地质量具有重要参考意义。

2.0 KB 612 B 380 B 24.2 KB 34.7 KB