BF1：面向高效长上下文 Transformer 的因果二元稀疏注意力改造方案

英文标题：BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers

论文提出 BF1，一种用于长上下文 Transformer 的确定性、块对齐二元稀疏注意力机制。该方法旨在缓解即使采用高度优化的精确内核后，稠密因果注意力在长上下文场景中仍然昂贵的问题。BF1 将小范围的精确局部邻域与全局稀疏注意力路径结合，为开发者构建更高效的长上下文模型提供了一种注意力层改造思路。

2.1 KB 461 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB