AbridgeKV：将长推理压缩至学习型暂停 Token 的 KV 缓存中

英文标题：AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

论文提出 AbridgeKV，旨在将长链式思维推理压缩到学习得到的暂停 Token 的 KV 缓存中。作者指出，长链式思维解码受内存限制：随着测试时计算量增加，已生成 Token 的 KV 缓存会线性增长。单纯驱逐缓存条目无法解决问题，因为模型并未在缓存条目被移除的条件下接受训练。这一方向有望帮助开发者在保持或扩展推理计算的同时，降低长推理任务的 KV 缓存内存压力。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB