arXiv · ML· Mingyuan Zhang, Yue Bai, Huan Wang, Yizhou Wang, Qihua Dong, Yitian Zhang, Yun Fu·· 2026-10-07AI 评分35
引入 Mask Fine-Tuning 提升 LLM 性能的研究
Boosting Large Language Models with Mask Fine-Tuning
AI 导读
研究提出 Mask Fine-Tuning (MFT),一种通过应用二元掩码而非更新权重来提升大型语言模型性能的新范式。 在 LLaMA2-7B 和 LLaMA3.1-8B 模型上,MFT 在 IFEval 基准上分别带来平均 2.70 和 4.15 的性能提升。 该方法扩展了掩码操作的应用范围,使其不仅限于模型压缩,还能与主流优化流程兼容以增强模型整体能力。
来源:arXiv · ML · arxiv.org