StepKV：面向 LLM Agent 的步骤感知 KV 缓存压缩

英文标题：StepKV: Step-Aware KV Cache Compression for LLM Agents

StepKV 提出一种面向 LLM Agent 的步骤感知 KV Cache 压缩方法。论文指出，KV 缓存对于高效自回归大语言模型推理至关重要，但其规模会随上下文长度线性增长，从而提高存储与解码成本。KV 缓存压缩可通过仅保留部分缓存内容来缓解这一问题。该研究对需要长上下文、多步骤推理或工具调用的 Agent 系统具有潜在的成本与效率优化意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB