基准测试并非铁板一块：面向 LLM 评估的样本级审计与编排

英文标题：Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation

论文指出，基准数据集是评估大语言模型（LLM）的核心工具，但通常被视为同质化的整体任务，从而掩盖了不同样本在能力要求上的显著差异。作者提出一种以数据集为中心的元评估框架，用于开展样本级分析与审计。该方法有望帮助开发者更准确地理解模型在不同类型样本上的真实表现，并改进基准测试的设计、选择与评估编排。论文编号为 arXiv:2607.28801v1，属于新发布论文。

2.1 KB 483 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB