关于 KL 正则化策略优化

英文标题：On KL-Regularized Policy Optimization

该论文探讨面向大语言模型 Agent 的 KL 正则化策略优化问题。论文指出，在异步强化学习中，训练所使用的策略与生成轨迹的策略可能并不相同：轨迹可能来自过时的检查点，且推理引擎给出的概率也可能与训练器存在差异。该问题对采用异步 rollout、分离式推理与训练架构的 LLM Agent 开发者具有重要意义，因为策略概率偏差会影响策略优化与 KL 约束的有效性。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB