GVPO++：用于大语言模型后训练与同策略蒸馏的分组方差策略优化
英文标题：GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
GVPO++（Group Variance Policy Optimization）是一项针对大语言模型（LLM）后训练与同策略蒸馏（On-Policy Distillation）的新型强化学习优化方法。研究指出，后训练在激发模型复杂推理与专业领域能力上扮演着核心角色。虽然 GRPO（分组相对策略优化）等代表性方法显著推动了技术进展，但在实际工程落地与训练表现上仍存在瓶颈。GVPO++ 的探索为提升 LLM 训练稳定性与蒸馏效率提供了更优的技术路径，对强化学习驱动的模型对齐具有重要参考价值。
打开原文相关 2.4 · 机会 0
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文基本信息
- arXiv 编号：arXiv:2609.21432v1
- 类型：New
摘要
后训练（Post-training）在增强大语言模型（LLM）的推理能力和特定任务专业技能方面发挥着关键作用。尽管最近的后训练方法（例如分组相对策略优化，Group Relative Policy Optimization / GRPO）取得了显著进展，但它们在实际应用中依然面临挑战……
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×