RL 后训练构建组合推理策略

英文标题：RL Post-Training Builds Compositional Reasoning Strategies

该论文探究强化学习后训练是否仅仅放大基础模型中已有的原始技能，还是能够将原始技能组合成新的高层策略。研究在一个完全可观察的改写语法环境中展开，发现 RL 后训练可以构建出组合式的推理策略，而不仅仅是强化已有能力。这一结论为开发者理解后训练阶段的能力涌现机制提供了新视角，并可能影响未来语言模型对齐与进阶推理能力的训练设计。

2.6 KB 2.1 KB 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB