边际正确的工具缓存可能逆转组归一化策略更新

英文标题：Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates

论文研究了 Agent 训练中的工具结果缓存问题。工具结果缓存能够减少重复执行，但也会使不同 rollout 的随机性产生耦合。作者在一个双动作模型中发现，独立执行与共享执行虽然都能保持每次 rollout 的条件奖励分布，却可能对组归一化的策略更新产生截然不同的影响。该结论提示开发者在使用缓存加速训练时，需要关注缓存对策略梯度估计和训练方向的潜在偏差。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB