TraceSpec：深入理解并改进面向 LLM Agent 的投机解码技术
英文标题：TraceSpec: Understanding and Improving Speculative Decoding for LLM Agents
LLM Agent 在执行任务时，依赖包含推理、动作和工具反馈的不断演进的历史记录进行多轮模型调用。然而，现有的聚合投机解码（Speculative Decoding）评估指标混淆了这些不同的决策阶段，难以精准指导草稿模型（draft model）在哪些环节需要优化和监督。TraceSpec 针对智能体系统的多轮交互特征展开深入分析，旨在打破这一黑盒并提升投机加速效率。该工作对于降低 LLM Agent 系统的端到端推理延迟、提高实时交互性能具有重要参考价值。
打开原文相关 4.8 · 机会 2
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
论文信息
- arXiv 标识：arXiv:2610.41177v1
- 论文类型：最新提交（Announce Type: new）
论文摘要
LLM Agent 通常需要在不断演进的推理步骤、动作输出和工具反馈上下文之上，进行反复的多轮模型调用来执行复杂任务。然而，现存的聚合投机解码（Speculative Decoding）指标往往将这些属性截然不同的决策阶段混杂在一起，因此对于在哪些环节需要草稿监督（draft supervision）只能提供非常有限的指导。TraceSpec 深入探究了面向 LLM Agent 的投机采样机制，并提出了针对性的理解与改进方案。
引用信息
BibTeX formatted citation
提示：原文引用数据暂未加载或为空。
English / 原文
BibTeX formatted citation
×