跳到正文
arXiv · ML· Huanran Chen, Huaqing Zhang, Xiao Li, Yinpeng Dong, Ke Shen, Jun Zhu·· 14 天前AI 评分40

Nexus 优化器:相同预训练损失下通过共同时隙实现更好下游泛化

Nexus: Same Pretraining Loss, Better Downstream Generalization via Common Minima

AI 导读

Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。

来源:arXiv · ML · arxiv.org