sk-bench：用于评估斯洛伐克语大语言模型的原生优先基准测试
英文标题：sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak
针对拥有 500 万母语者且词法形态丰富的西斯拉夫语种——斯洛伐克语，现有多语言大模型基准往往将其忽略或仅依赖机器翻译进行粗略评测。研究人员为此推出了首个原生优先的斯洛伐克语评估基准 sk-bench，包含涵盖多个领域的 30 个数据集（共 33 个计分任务变体）。该基准填补了斯洛伐克语大模型高质量原生评测的空白，对非主流及复杂形态语言的本地化评估与模型优化具有重要参考价值。
打开原文相关 2.4 · 机会 0
2.1 KB
483 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文信息
- 论文编号：arXiv:2610.09152v1
- 公告类型：new
摘要
现有的多语言大语言模型（LLM）基准测试普遍忽略了斯洛伐克语——一种拥有 500 万母语者、形态变化极其丰富的西斯拉夫语言，或者仅通过机器翻译数据对其进行覆盖。为此，我们提出了 sk-bench，这是一个以原生数据为核心（native-first）的斯洛伐克语基准评测体系，包含 30 个数据集（共计 33 个计分任务变体），旨在全面、准确地评估大语言模型在斯洛伐克语环境下的综合能力。
English / 原文
BibTeX formatted citation
×