连续性而非重要性:文档编辑后受限预算下的陈旧 KV Cache 修复
英文标题:Contiguity, Not Importance: Budgeted Repair of Stale KV Caches After Document Edits
在检索增强生成(RAG)与智能体(Agent)系统中,复用 KV Cache 能够显著降低大模型推理成本,但当检索到的知识、工作记忆或用户状态被编辑时,已缓存的上下文便会陈旧失效。由于因果自注意力机制(causal self-attention)的存在,局部文档编辑通常会波及后续上下文的计算一致性。该研究探讨了在受限计算预算下修复陈旧 KV Cache 的策略,指出应优先关注连续性(Contiguity)而非单纯的重要性(Importance)。该工作为高频动态上下文维护及低成本 Agent 记忆系统提供了关键的技术优化方向。
打开原文相关 4.8 · 机会 0
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文摘要(arXiv:2609.17983v1)
KV Cache 复用能够显著降低检索增强生成(RAG)和智能体(Agent)系统中的推理成本,但当检索到的知识、工作记忆或用户状态发生编辑更新时,已缓存的上下文可能会陈旧失效。在因果自注意力(causal self-attention)机制下,即便是局部的编辑操作也可能对后续表征产生级联影响……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×