一个 Token 的代价几何？基于混合智能体（MoA）测量每个 Token 的充分计算量

英文标题：What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute

本论文探讨了大语言模型在生成每个 Token 时计算开销固定的问题。研究指出，现有模型无论生成难度如何均耗费同等算力，而投机解码与模型路由等方法正是建立在大量计算存在冗余这一前提之上。作者提出通过混合智能体（Mixture-of-Agents）来量化并测量生成每个 Token 所需的“充分计算量”。该研究为自适应动态计算与模型推理效率优化提供了理论与实证参考，有助于降低大模型的实际落地推理成本。

打开原文相关 2.4 · 机会 1

中文

一个 Token 的代价几何？基于混合智能体（MoA）测量每个 Token 的充分计算量

论文编号：arXiv:2610.02491v1
发布类型：最新公布（new）

摘要

大语言模型（LLM）在生成每一个 Token 时往往耗费同等数量的计算量，而忽视了每个 Token 实际生成的难度差异。投机解码（speculative decoding）和模型路由（model routing）等前沿方法，均建立在“此类计算中相当大一部分是冗余的”这一前提假设之上。本研究利用混合智能体（Mixture-of-Agents, MoA）框架，对生成每个 Token 所需的“充分计算量”（Sufficient Per-Token Compute）展开了系统性度量与分析。

一个 Token 的代价几何？基于混合智能体（MoA）测量每个 Token 的充分计算量

中文

一个 Token 的代价几何？基于混合智能体（MoA）测量每个 Token 的充分计算量

摘要

BibTeX 格式引用

English / 原文

BibTeX formatted citation