超越 On-Policy 与 Off-Policy 之争：LLM Agent 蒸馏应在何种层级跟随学生？

英文标题：Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?

在交互式大语言模型（LLM）Agent 的知识蒸馏过程中，通常需要在教师模型生成的示范数据（Off-Policy）与学生模型自主生成的探索经验（On-Policy）之间做出权衡。最新研究指出，简单的同策略与异策略二元对立不足以刻画交互式场景的复杂性，核心问题在于蒸馏过程究竟应当在何种颗粒度与决策层级上跟随学生模型。该研究重新审视了 Agent 蒸馏的设计空间，为解决长程交互中的复合误差和分布偏移提供了新的理论框架。这一成果有助于开发者更高效地将大型前沿模型能力压缩至轻量级模型中，大幅降低 Agent 的实际部署与推理成本。

2.0 KB 640 B 612 B 380 B 24.2 KB 34.7 KB