TomasuLLM：面向 LLM Agent 的乱序推测执行
英文标题：TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
论文提出 TomasuLLM，一种面向 LLM Agent 的乱序推测执行方法。研究指出，在编程 Agent 工作流中，编译器、测试套件和仓库命令等长时间运行工具可能耗时数秒至数分钟，并成为整体延迟的主要来源。该问题会使 Agent 在等待工具结果时闲置，其设计挑战与乱序处理器曾面对的执行依赖与等待问题相似。该工作或将为降低代码 Agent 的工具调用等待时间、提升任务吞吐与交互响应速度提供新思路。
打开原文相关 3.2 · 机会 3
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
TomasuLLM：面向 LLM Agent 的乱序推测执行
arXiv:2609.38201v1
发布类型： 新论文
摘要
长时间运行的工具可能主导编程 Agent 的延迟：编译器、测试套件和仓库命令需要数秒到数分钟才能完成，而 Agent 在此期间处于闲置状态。这种观察等待（observation stall）与推动乱序处理器发展的矛盾相同——
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×