让功劳归于应得之处:面向高效推理的冗余感知学习
英文标题:Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning
论文提出“冗余感知学习”,旨在提升大型推理模型的推理效率。作者指出,大型推理模型虽然能够生成正确答案,但其推理轨迹往往过长且包含不必要的内容。现有方法主要采用轨迹级目标,或局部的 token 级和步骤级信号来优化效率,但较少对步骤之间的语义依赖关系进行建模。该研究对开发者而言意味着,推理优化不仅应关注压缩输出长度,还应识别并减少跨步骤的语义冗余。
打开原文相关 1.6 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要:大型推理模型能够生成正确但不必要地冗长的推理轨迹。现有方法通过轨迹级目标,或局部的 token 级和步骤级信号来提升推理效率,但很少对步骤之间的语义依赖关系进行建模。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×