跳到正文
arXiv · ML· Ranajoy Sadhukhan, Euijin Hong, Sheng Cao, Zechun Liu, Shuowei Jin, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Zhenyu Shi, Priyanka Nigam, Beidi Chen·· 2026-10-12AI 评分26

STAPLE: 基于嵌入模块的预训练检查点静态稀疏升级

STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules

AI 导读

STAPLE提出一种将静态稀疏内存集成到预训练模型的新方法,保留FFN上投影并将嵌入作为残差路径添加,避免盲目集成导致的性能损失。 在OLMo-2 1B模型上,STAPLE在HumanEval上比密集持续训练提升4.27分,在GSM8K提升2.27分;在OLMo-2 7B骨干上改进依旧显著。

来源:arXiv · ML · arxiv.org