AdaRoPE：并非所有注意力头都应以相同方式旋转和缩放

英文标题：AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally

论文指出，Rotary Position Embedding（RoPE）被广泛用于 Transformer 的位置信息编码，但标准实现通常对所有注意力头采用统一的频率调度和缩放方式。作者通过简化的检索任务及长度相关实验来研究这一设定的局限性。该工作提出 AdaRoPE，核心观点是不同注意力头不应被施加完全相同的旋转与缩放策略。这一方向可能为开发者优化长上下文模型的注意力位置编码提供新的设计思路。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB