论文研究 arXiv cs.CL Fri, 10 Jul 2026 正文 thin 4 words

当不可靠词元被强化：面向大语言模型强化学习的尾部感知信用校准

英文标题：When Implausible Tokens Get Reinforced: Tail-Aware Credit Calibration for LLM Reinforcement Learning

强化学习在提升大语言模型推理能力方面取得了显著成功，但当前广泛采用的无评价器方法普遍使用统一的信用分配，将相同的优势信号广播至所有词元。这种粗糙的分配方式可能使不可靠的词元被错误强化，损害训练效果。为此，该预印本（arXiv:2607.07976）提出了一种尾部感知的信用校准方法，以更精确地评估每个词元的贡献。该工作有望为开发者优化基于强化学习的LLM对齐与推理微调提供更稳定的训练策略。

打开原文相关 2.4 · 机会 0