SAPO：面向智能体强化学习的单次采样自回归策略优化

英文标题：SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

SAPO（Single-Rollout Autoregressive Policy Optimization）是一种面向智能体强化学习（Agentic RL）的策略优化方法。该论文指出，智能体强化学习已成为大语言模型后训练中的关键环节。现有无需 critic、基于组内相对比较的方法通常需要多个 rollout 来估计策略优势，而 SAPO 旨在通过单次 rollout 的自回归优化降低相关开销。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB