Jet-Long：基于动态双焦点RoPE的高效长上下文扩展

英文标题：Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

现代大语言模型越来越被部署在检索增强生成、代码库级编程和智能体工作流等长上下文应用中，累积的推理与工具调用历史常常使输入长度比训练时的上下文长度高出一个数量级，导致性能明显下降。论文《Jet-Long》提出了动态双焦点旋转位置编码（Dynamic Bifocal RoPE）方法，旨在以较低成本高效扩展上下文窗口，缓解上述问题。该方法对需要处理超长对话、仓库级代码或复杂智能体轨迹的开发者具有重要意义，有望在提升长文本理解能力的同时控制推理开销。本文档目前仅包含BibTeX格式的引用条目。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB