Tokka-Bench：覆盖 100 种自然语言与 20 种编程语言的分词器多维评测框架
英文标题：Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
大语言模型（LLM）高度依赖子词分词器（subword tokenizer），但其分词质量在不同语言间差异显著，且行业长期缺乏用于广泛比较评估的标准化多指标框架。为此，研究团队推出了开源评测基准 Tokka-Bench，覆盖 100 种自然语言和 20 种编程语言的分词器表现。该框架为多语言和代码模型的分词效率、压缩率及公平性提供了统一的评估方案，有助于开发者在模型预训练与推理选型中进一步优化 Token 开销与成本。
打开原文相关 1.6 · 机会 2
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv 编号：arXiv:2610.08794v1
公告类型：new
摘要
大语言模型高度依赖子词分词器（subword tokenizer），其分词质量在不同语言之间存在显著差异，然而目前仍缺乏用于广泛横向对比评估的标准化多指标评测框架。为此，我们推出了开源框架 Tokka-Bench，用于全面评估覆盖 100 种自然语言与 20 种编程语言的分词器表现。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×