查询知道该遗忘什么：线性注意力的第二擦除方向

英文标题：The Query Knows What to Forget: A Second Erase Direction for Linear Attention

论文提出，线性注意力使用固定大小的状态存储上下文信息，在长上下文场景中，大量条目共享同一状态会产生相互干扰，从而降低检索效果。作者指出，Gated DeltaNet-2（GDN-2）与此前所有 delta-rule 模型一样，其擦除向量仅由 key 推导。该研究围绕为线性注意力引入“第二擦除方向”展开，旨在让查询参与决定应遗忘的信息。该方向可能有助于改善长上下文下线性注意力模型的记忆管理与信息检索能力。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB