Token 置信度只是思考链长度的倒影？对推理轨迹的信号处理审计
英文标题：Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces
推理语言模型通常通过生成长思维链（Chain of Thought）来解答数学难题，但通过多次采样并进行多数投票以提高准确率的方法会带来高昂的生成成本。为了降低计算开销，业界常用的方案是依据每条链的 Token 置信度进行评分与筛选。本项研究从信号处理的视角对推理轨迹展开审计，探究 Token 置信度指标在本质上是否仅仅反映了生成链条的长度。该结论为优化推理阶段的采样加权与低成本推理方案提供了新的理论反思。
打开原文相关 1.6 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.36709v1
公告类型： 新论文（new）
摘要
推理语言模型通过生成长思维链（chains of thought）来解答数学问题，而针对每个问题采样多条链并进行多数投票（majority vote），虽然能提高准确率，但代价是产生大量的生成文本与计算成本。一种降低该成本的流行方法是根据每条链的 Token 置信度进行评分……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×