先评估后分配：强化学习中面向 MCP Agent 的校准 Rollout 预算方案
英文标题：Measure First, Then Allocate: Calibrated Rollout Budgets for MCP Agents in Reinforcement Learning
针对工具使用型语言模型（MCP Agent）在强化学习训练中环境交互成本高昂的问题，该论文指出了 Rollout 组内奖励一致时无法产生相对学习信号的核心痛点。研究提出利用奖励分歧度（Reward Disagreement）指导评测框架，并以此动态校准和分配策略训练的 Rollout 采样预算。这一方法能显著减少无意义的采样开销，对优化 Agent 强化学习训练效率和降低算力成本具有重要参考价值。
打开原文相关 4.8 · 机会 3
2.0 KB
672 B
612 B
380 B
24.2 KB
34.7 KB
中文
先评估后分配：强化学习中面向 MCP Agent 的校准 Rollout 预算方案
论文编号：arXiv:2610.28785v1
摘要
训练使用工具的语言模型往往需要高昂的交互成本，然而在同一个 Rollout 组（采样组）内，若各个样本的奖励完全相同，就无法产生基于组间相对差异的学习信号。针对这一问题，本研究利用奖励分歧度（reward disagreement）来指导测试框架（harness）的评估，并为策略训练精确校准与分配 Rollout 预算。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×