arXiv · ML· Jihwan Moon, Sheir A. Zaheer, Jinmyoung Lee, Gunhee Kim, Chan Y. Park·· 2026-10-06AI 评分29
贪婪局部学习用于语言模型预训练:差距与目标设计
Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design
AI 导读
贪婪分块局部学习在语言模型预训练中相比端到端训练存在性能差距,且辅助目标设计对缩小差距至关重要。 在125M和400M参数规模下,将MLP辅助损失替换为Transformer可恢复22%-41%的差距;多token预测辅助目标在第一块边界有效。 部署式分块执行可将激活内存减少至多2.2倍,该研究为去中心化模型并行训练提供了实证基础。
来源:arXiv · ML · arxiv.org