先竞争再协作：前沿AI教师构建可验证课程，让编码学生超越模仿

arXiv 论文 《Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation》 提出了一种全新的多教师知识蒸馏范式，旨在用多个前沿大模型（frontier LLMs）协同训练出一个性能更强、可验证的编码学生模型。

研究背景

随着大语言模型（LLMs）不断向更大规模演进，将其能力蒸馏到更小、更专用、成本更低的“学生”模型中，已成为产业落地的关键路径。然而，此前的多教师蒸馏方法大多只是简单合并不同教师模型的输出，缺乏对“哪位教师在何种任务上教得最好”的有效判断，往往依赖 LLM 裁判来评估质量，而这类裁判本身并不可靠且成本高昂。

方法核心：先竞争，再协作

该研究提出“先竞争后协作”（Compete-then-Collaborate）的框架，由两个阶段构成：

1. 竞争阶段（Compete）：针对每一项可验证的编码任务（例如解决特定编程问题并通过单元测试验证），多个前沿教师模型各自独立生成解法。通过可自动验证的结果（如测试通过率、执行效率等），系统客观地评估每位教师在该任务上的表现，并标记出最强教师。
2. 协作阶段（Collaborate）：基于竞争阶段获得的教师能力画像，为每个训练样本选出最擅长该任务的教师，由它主导生成教学数据，其他教师则扮演辅助者角色，共同构建高质量、有针对性的训练集。

整个课程（curriculum）是 可验证 的，即每一步训练数据的质量都由真实执行结果做背书，从而避免了对 LLM 裁判的主观依赖，也减少了幻觉和不安全内容被蒸馏进学生模型的风险。

可验证编码课程

论文设计了一个专为学生模型定制的课程体系，其核心特点包括：

• 任务难度递增：从简单的函数补全，到复杂的算法题，再到需要多文件交互的项目级任务。
• 自动验证信号：数据集中每一项输入-输出对都附带可运行的测试用例，学生的回答必须被编译、执行并通过测试，才算一次成功的仿效。
• 多样化教师优势：不同教师模型在数学推理、代码优化、安全编码等维度各有专长，课程动态调配教师角色，让学生始终跟随该领域最强者学习。

实验结果与意义

实验结果显示，采用该框架训练的学生模型，在多个编码基准上不仅超越了单纯模仿单个最佳教师的效果，还在某些任务中展现出了超越教师能力 的泛化表现，即学生学会了教师未曾直接教授的策略组合。

这对开发者生态意味着：

• 更低成本地获得与前沿模型水平相当甚至更优的编码助手。
• 蒸馏过程具备可解释性和可验证性，便于安全敏感场景下的模型审计。
• 该框架为 Agent 等依赖扎实编码能力的下游应用提供了更稳健的模型底座。

论文标题明确点出“Beyond Imitation”，标志着从被动模仿向主动构建教学课程的转变，可能为后续的多模型协同训练、模型合并等领域开辟新的研究方向。

论文预印本详见：arXiv:2607.08255v1

BibTeX formatted citation

×