arXiv · AI· Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai·· 2 小时前AI 评分41
HyScale：加速学习型稀疏注意力长上下文训练
HyScale: Scaling Long-Context Training for Learned Sparse Attention
AI 导读
HyScale 提出 HyTopK 与选择重放技术，解决学习型稀疏注意力训练瓶颈。系统在 512 块 H20 GPU 上将 GLM-5.1 的 1M 训练提速 2.07 倍。该方法加速了 DeepSeek-V4-Flash 和 Qwen3.8-Flash-Next 的训练。
来源：arXiv · AI · arxiv.org