ReAPO：面向大语言模型推理高效探索的重试感知策略优化
英文标题：ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning
研究人员提出了 ReAPO（Retry-Aware Policy Optimization，重试感知策略优化），旨在解决带可验证奖励的强化学习（RLVR）在大模型推理任务中探索效率低下的问题。传统 RLVR 普遍依赖独立的随机采样轨迹进行探索，容易导致模型反复尝试相似的失败解题策略并浪费算力。ReAPO 引入重试感知机制，促使策略模型在探索时避开无效路径并提升解空间覆盖率，从而有效提高采样效率与推理表现。该方法为复杂推理与代码生成场景下的 RL 探索提供了更高效的训练范式。
打开原文相关 2.4 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
论文摘要
可验证奖励强化学习（RLVR）能够有效提升大语言模型的推理能力，但目前通常依赖独立的随机 rollout（采样轨迹）进行探索，这种方式容易导致模型反复采样出相似的失败解题策略。先前研究尝试通过引入多样性机制或外部引导来改进探索。为此，本文提出了 ReAPO（Retry-Aware Policy Optimization，重试感知策略优化），通过赋予模型对重试历史的感知能力，显著优化了推理任务中的探索效率。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×