NOLLI：用于诊断英韩性能差距的难度校准谜题基准

英文标题：NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap

研究者推出了 NOLLI，一个通过程序化生成构建的英韩双语谜题基准，用于诊断模型在韩语任务中出现性能差距的具体环节。该基准覆盖 15 类谜题、25 项任务，共包含 7,500 个样本。每个实例均可根据随机种子重新生成，并经过验证以确保具有唯一解。该工作可为开发者更系统地评估和定位模型的跨语言推理能力差异提供工具。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB