CommitKV:通过提交状态转换实现面向生命周期的 KV 缓存压缩,服务多轮 Agent
英文标题:CommitKV: Lifecycle-Aware KV Cache Compression via Commit Transitions for Multi-Turn Agents
CommitKV 面向多轮推理与行动(ReAct)Agent 中不断增长的轨迹缓存问题。此类 Agent 会持续累积推理过程、工具调用和观察结果,导致键值(KV)缓存增大,并提高模型推理期间的内存占用和注意力计算成本。该工作提出利用提交状态转换进行生命周期感知的 KV 缓存压缩,旨在改善多轮 Agent 的推理资源效率。原文摘录未提供具体实验数据或性能结论。
打开原文相关 4 · 机会 2
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×