Benchy：迈向面向任务的 AI 基准测试通用语言

英文标题：Benchy: towards a universal language for task-oriented AI benchmarks

论文提出 Benchy，一种用于评测 AI 程序的语义语言与执行引擎。它将基准测试完整定义为由程序、评分函数和数据集构成的三元组 B=(P,S,D)，并将基准与被测 AI 系统分离。一次评测运行再将基准与具体 AI 系统绑定，这种设计有望提升任务导向 AI 基准的可复现性、可组合性和跨系统比较能力。对于开发者而言，Benchy 提供了更统一的方式来描述、执行和评估 AI 程序基准。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB