PAGE：分区感知的门控 KV-Cache 驱逐机制
英文标题：PAGE: Partition-Aware Gated KV-Cache Eviction
现有的 KV-Cache 驱逐策略通常仅决定保留哪些 token，却忽视了评估特定输入是否适合执行驱逐。这导致基准测试中的平均分往往掩盖了极端失效案例——某些输入的准确率在压缩后会从 99% 断崖式下跌至 0%。为此，研究团队将 KV-Cache 驱逐重新定义为逐输入的“准入决策”机制（PAGE）。该研究对于消除大模型在长上下文推理压缩中的灾难性性能劣化、提高实际高可靠部署中的稳定性具有重要指导意义。
打开原文相关 1.6 · 机会 0
2.1 KB
672 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2609.22157v1（公告类型：新论文）
摘要
目前的 KV-Cache 驱逐方法大多专注于决定应当保留哪些 token，却并未判断是否根本不应对当前输入进行驱逐。因此，基准测试中的整体均分可能会掩盖一类极端输入样本——对这些样本施加缓存压缩会导致模型准确率从 99% 暴跌至 0%。我们将 KV-Cache 驱逐机制重新定义为逐个输入（per-input）的准入决策，并展示了……
English / 原文
BibTeX formatted citation
×