跳到正文
arXiv · NLP· Yanggan Gu, Yuanyi Wang, Zhen Li, Shuo Cai, Yuhang Liu, Junzhuo Li, Zihao Wang, Hongxia Yang·· 2026-10-09AI 评分23

SMAT: 简单高效的合并感知训练

SMAT: Simple and Efficient Merge-Aware Training

AI 导读

SMAT 联合优化专家损失与模拟合并参数下的期望损失,将合并操作分解为 Scale、Mask 和 Perturb 三类基础操作。 该方法通过周期性调度、kernel fusion 和参数存储切换提升效率,每步仅需一次前向和一次反向传播。在四个语言及视觉-语言 backbone 上,SMAT 使五种合并方法的平均分比最强基线提高 1.07–2.16 分,训练时间开销低于 2%。

来源:arXiv · NLP · arxiv.org