RotateAttention:用于视频生成中 RoPE 感知旋转与范围校正的 INT4 量化注意力
英文标题:RotateAttention: RoPE-Aware Rotation and Range Rectification for INT4 Quantized Attention in Video Generation
针对配备 3D 旋转位置嵌入(3D RoPE)的 DiT 视频生成模型,注意力机制因序列长度的二次复杂度仍为主要计算瓶颈。RotateAttention 提出一种 RoPE 感知的旋转与范围校正方法,首次将注意力计算量化至 INT4,有效降低计算开销。该方法在不牺牲生成质量的前提下,有望显著加速长视频生成,对需要高效推理的视频生成开发者具有重要价值。
打开原文相关 2.4 · 机会 0
612 B
380 B
9.1 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式化引用
×
English / 原文
BibTeX formatted citation
×