SkillEval：基于认知诊断模型构建大语言模型的可解释能力画像

英文标题：SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models

当前大语言模型（LLM）在各类基准测试上的评测往往将全部样本的表现汇总为单一标量分数，存在评估颗粒度过粗、忽视基准覆盖的多维能力等缺陷。为此，研究团队提出了 SkillEval，通过引入认知诊断模型（Cognitive Diagnosis Models, CDM）来学习并推断模型的可解释技能画像。该方法将教育测量学机制引入 AI 评测，有助于开发者精准诊断模型的细分能力短板并进行针对性对齐与优化。

2.0 KB 640 B 612 B 380 B 24.2 KB 34.7 KB