SPECMEM：通过实时记忆管理加速 Agent 工具调用
英文标题：SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management
当前具备工具调用能力的 Agent 多侧重于准确率优化，但在实际业务部署中，自回归逐 token 解码带来的高延迟成为核心瓶颈。论文提出 SPECMEM，旨在利用推测解码（Speculative Decoding）技术在不改变生成输出的前提下显著加速工具调用过程。该方法通过检索并利用历史工具调用构建动态实时记忆，大幅降低了推理时延。这一成果为解决高频、多步骤 Agent 交互在生产环境中的性能瓶颈提供了高效的工程化新思路。
打开原文相关 2.4 · 机会 2
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.31840v1 公告类型：最新 (new)
摘要：具备工具调用能力的智能体（Tool-calling Agent）大多主要针对准确率进行优化；然而在实际部署中，其不断攀升的成本主要源于延迟：每一次工具调用均需采用自回归方式逐步解码生成。推测解码（Speculative Decoding）技术可以在保证输出结果完全不变的前提下实现加速，而检索过去的历史调用记录能够……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×