HakemBench：面向土耳其语的类型化决策评估基准
英文标题：HakemBench: A Turkish Benchmark of Typed Decisions
HakemBench 是一项全新推出的土耳其语类型化决策基准测试。在该基准下，受测模型需阅读一段文本、问题及固定的候选选项集合，并为每个选项输出相应的预测概率。1.0 版本完全开源并在 CC BY 4.0 协议下发布，共收录 2,346 个测试条目。该基准为小语种及土耳其语大模型的决策能力评估与概率校准提供了标准化的测试工具。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
HakemBench 是一个针对土耳其语类型化决策（typed decisions）的评测基准。在该评测体系中，受测模型需要阅读给定文本、相关问题以及一组固定选项，并输出对每个选项的预测概率。
HakemBench 1.0 版本已完全开源，基于 CC BY 4.0 协议发布，首发包含 2,346 个测试条目。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×