通过自适应注意力匹配实现面向推理的思维感知 KV 缓存压缩

英文标题：Thought-Aware KV Cache Compaction for Reasoning via Adaptive Attention Matching

推理型语言模型会生成较长的思维链（CoT）序列，使键值（KV）缓存在线性增长后成为解码阶段的内存瓶颈。该研究提出一种思维感知的 KV 缓存压缩方法，并通过自适应注意力匹配来处理推理过程中的缓存信息。与将推理轨迹视为扁平 Token 序列的现有压缩方法相比，该方法旨在更好地保留推理所需的关键信息。其研究对需要长上下文推理、受显存约束的模型部署及 Agent 开发具有潜在意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB