跳到正文
arXiv · NLP· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 2026-10-12AI 评分31

MSAR:多流注意力残差在 MoE 模型中实现 1.58 倍等损失加速

Multi-Stream Attention Residuals

AI 导读

summary_zh: MSAR 将注意力残差机制扩展至多头深度注意力,在 18B 和 28B MoE 规模的 12 项基准测试中全面超越标准残差、mHC 和 AttnRes。

来源:arXiv · NLP · arxiv.org