当 RLVR 收缩推理边界：诊断 Pass@k 反转现象

英文标题：When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion

论文研究了带可验证奖励的强化学习（RLVR）导致的“Pass@k 反转”现象：模型的单次采样准确率可能提升，但在重复采样时的表现反而下降。作者指出，经过训练后，策略模型可能比基础模型能够解决更少的不同问题。该发现意味着，开发者不能仅依赖单次准确率评估 RLVR 的收益，还应通过 Pass@k 等多样化采样指标衡量模型的推理覆盖范围与稳健性。对于推理模型训练和 Agent 开发，这一现象提示奖励设计可能会使策略过度集中于少数解题路径。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB