论文研究 arXiv cs.LG Wed, 07 Oct 2026 正文 thin 4 words

AttSVD：通过注意力引导 SVD 实现提示自适应的低秩 KV Cache 压缩

英文标题：AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD

AttSVD 提出了一种面向自回归 Transformer 的 KV Cache 压缩方法，旨在缓解长上下文场景中 KV Cache 随上下文长度线性增长、并主导内存占用的问题。与多数无需训练的方法通过沿序列轴驱逐低重要性 token 不同，AttSVD 不依赖这种不可逆的 token 淘汰策略。该方法利用注意力信息引导奇异值分解（SVD），实现针对提示内容自适应的低秩 KV Cache 压缩。该思路可为长上下文推理中的内存优化提供新的选择，并可能帮助开发者在保留更多上下文信息的同时降低推理资源消耗。

打开原文相关 1.6 · 机会 0