跳到正文
arXiv · ML· Jaemyung Yu, Byeongho Heo, Sangdoo Yun, Dongyoon Han·· 7 天前AI 评分30

FOAM:一种轻量级 SOAP 变体,在 LLM 预训练中平衡效率与效果

Factored One-sided Adam-Moment for Practical and Scalable SOAP

AI 导读

研究者提出轻量级 SOAP 变体 FOAM,通过输入侧预条件和行列统计因子化二阶矩估算器,在 124M 至 760M 参数 LLM 预训练中匹配 SOAP 和 Muon 基线的验证损失。 FOAM 使用 SOAP 一半的优化器状态内存,运行时间达到 Muon 级别,且在 3 倍学习率范围内保持鲁棒性,代码已开源。

来源:arXiv · ML · arxiv.org