Fathom：面向卸载式 KV 缓存稀疏解码的逐查询读取深度

英文标题：Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches

该论文关注 Agent 会话扩展至百万 token、且大量会话同时驻留时的推理瓶颈。此时，KV 缓存及其排序索引存放在主机内存中，对全部 n 个键执行 top-k 排序扫描所产生的内存流量，会限制解码速度。论文提出 Fathom，旨在针对卸载式 KV 缓存中的稀疏解码优化逐查询读取深度。该方向对需要长上下文、多会话并发推理的开发者和推理基础设施具有参考意义。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB