LISA：用于高效长上下文推理的线性索引稀疏注意力

英文标题：LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

论文提出 LISA（Linear-Indexed Sparse Attention，线性索引稀疏注意力），旨在提升长上下文推理的计算效率。原摘要指出，DeepSeek-R1 等长思维链推理模型在测试时扩展范式下需要越来越长的推理上下文。标准自注意力的 O(n^2) 计算复杂度会随上下文长度增长而带来显著成本，LISA 针对这一瓶颈探索稀疏注意力方案。对开发者而言，这类方法可能有助于降低长上下文 Agent 和推理工作负载的推理开销。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB