机制转变：位置编码选择如何塑造上下文内检索

英文标题：Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval

该论文研究位置编码与注意力范围的组合如何影响语言模型的上下文内检索能力。作者关注跨层采用不同机制的架构，例如在滑动窗口注意力中使用 RoPE、在全局注意力中使用 NoPE 的 SWA NoPE 方案。研究指出，位置编码和注意力范围并非独立设计选择，它们会共同影响模型从长上下文中定位和提取信息的方式。该结论对设计长上下文模型、检索增强能力及 Agent 的记忆机制具有参考意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB