并非所有 Token 都相同：面向 Agentic LLM 系统的通胀感知路由

英文标题：Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

该论文指出，当语言模型首次未能回答查询时，Agentic 系统通常会进行重试，并在每次重试中额外消耗 Token。由此产生的重试开销，使模型标称的单 Token 价格与完整工作流的实际成本之间出现偏差。论文聚焦于为 Agentic LLM 系统设计具备“通胀感知”能力的路由机制，以更准确地衡量和优化模型选择及工作流成本。该研究对开发者的意义在于，模型路由不应仅依据表面 Token 单价，还应考虑失败、重试等因素带来的实际 Token 消耗。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB