跳到正文
arXiv · ML· Guoxia Wang, Qianyue He, Siming Wu, Haoyang Xie, Qiwen Bao, Jinle Zeng, Jiabin Yang, Tian Wu, Dianhai Yu·· 2026-10-14AI 评分28

FlashMask-3:高效的掩码感知分布式注意力机制

FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention

AI 导读

FlashMask-3 提出掩码感知的 Hopper 内核及分布式扩展,支持零通信掩码定位。 在 H100 上 4K-128K 上下文,其 TFLOPs 较 FlashMask 提升 45%-141%。 128 张 H100 训练 118B MoE 时,吞吐量较基线提升 7.3%-11.0%。

来源:arXiv · ML · arxiv.org