SPECTRA：通过谱变换编码突破 KV Cache 的 2 比特瓶颈

英文标题：SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

论文《SPECTRA》提出利用谱变换编码，探索将大语言模型的 KV Cache 压缩能力推进到 2 比特量化瓶颈之外。原文指出，在 Agent 时代，LLM 需要处理完整文档、代码库和多轮对话等长输入，推理阶段的内存主要由存储注意力键和值的 KV Cache 占据。该研究面向长上下文推理的显存与内存压力，对需要部署高效 LLM 推理服务的开发者和基础设施行业具有潜在意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB