循环自我改进：面向循环语言模型的动态跨循环 On-Policy 蒸馏

英文标题：Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

论文提出“循环自我改进”（Recurrent Self-Improvement），探讨用于 LoopLMs（循环语言模型）的动态跨循环 On-Policy 蒸馏方法。LoopLMs 通过在循环计算步骤中复用共享参数，以较高的参数效率扩展推理能力。作者指出，尽管这一架构具有潜力，但 LoopLMs 的有效后训练仍然颇具挑战；所提供的原始摘要未包含具体实验数据或完整方法细节。该研究面向需要在参数规模受限条件下提升推理能力的模型开发者，并可能为循环式推理模型的训练与蒸馏提供新的方向。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB