划分支持集,重构残差:面向视频生成与世界模型的免训练稀疏注意力
英文标题:Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models
该论文探讨用于视频 Transformer 的免训练块稀疏注意力方法,旨在提升视频生成与世界模型的计算效率。摘要指出,按行观察到的注意力集中性并不能直接定义可执行的稀疏注意力算子,因为共享同一路由块的查询可能具有重叠度较低的支持集。论文标题表明,其核心思路是对支持集进行划分,并重构被稀疏化后遗漏的残差。由于所提供的原文摘要在中途截断,无法确认具体算法细节、实验数据及性能结论。
打开原文相关 2.4 · 机会 0
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×