ReCache：面向工具增强型 LLM Agent 的高效 KV 缓存复用与压缩

英文标题：ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents

论文提出 ReCache 框架，旨在提升工具增强型 LLM Agent 中键值（KV）缓存的复用与压缩效率。Agentic 语言模型会在不同请求中反复编码工具和技能的 Schema，但这些 Schema 的组合与顺序经常变化，使传统前缀缓存难以复用既有 KV 状态。ReCache 针对这一问题设计，可能有助于降低 Agent 调用工具时的重复计算开销并提升响应效率。所提供原文摘录未包含具体实验数据、性能指标或完整方法细节。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB