跳到正文
arXiv · NLP· Biswa Sengupta·· 13 小时前AI 评分31

小语言模型前沿组件叠加效应:一项复制双因素研究

Do Frontier Model Ingredients Add Up? A Replicated Factorial Study of Small Language Models

AI 导读

研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。

来源:arXiv · NLP · arxiv.org