HyScale：面向可学习稀疏注意力的长上下文训练扩展系统
英文标题：HyScale: Scaling Long-Context Training for Learned Sparse Attention
本文介绍了针对可学习稀疏注意力（Learned Sparse Attention）的长上下文训练系统 HyScale。作为支持百万级 token 上下文极具前景的架构，可学习稀疏注意力自 DeepSeek-V3.2 等模型以来已广泛应用于生产环境，但其注意力选择机制已逐渐演变为训练阶段的主要瓶颈。HyScale 致力于突破该机制在大规模长上下文扩展中的效率限制，为百万级序列大模型的高效训练与工程落地提供了重要支撑。
打开原文相关 1.6 · 机会 0
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
论文摘要
arXiv:2610.32057v1 公告类型：最新发布（new）
摘要：我们推出了面向可学习稀疏注意力（Learned Sparse Attention）的长上下文训练系统 HyScale。可学习稀疏注意力是面向百万级 token 上下文极具前景的架构方案，自 DeepSeek-V3.2 以来已在生产环境中获得广泛采用。然而，注意力选择（Selection）机制正逐渐成为训练过程中的核心瓶颈。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×