基础中的裂缝：看似微小的架构选择会影响长上下文扩展

英文标题：Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

该论文指出，在稠密 Transformer 范式中，看似细微的架构差异并非只会带来有限的准确率变化。研究表明，在长上下文场景下，这些差异可能显著影响模型的表现与上下文扩展能力。论文特别考察了四项看似次要的架构选择，提示开发者在扩展上下文长度时，不能仅关注训练数据、位置编码或推理优化，也应审视基础模型架构细节。该工作以 arXiv:2608.10296v1 形式发布。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB