arXiv · ML· Beheshteh T. Rakhshan, Sahar Rajabi, Maziar Sargordi, Shikai Fang, Guillaume Rabusseau, Sirisha Rambhatla·· 2026-10-06AI 评分20
Clean:通过 Nyström 采样实现线性内存成本的全二阶 LLM 训练
Clean: Second-order LLM Training at Linear Memory Cost via Nystr{\"o}m Sketching
AI 导读
Clean 优化器利用随机 Nyström 方法近似 SOAP 预条件子,将内存复杂度从二次降至线性。 它比 AdamW 运行速度快 26%,且能在单个 80GB GPU 上预训练 13B 模型;Q-Clean 变体比 Muon 节省超 50% 优化器内存。 提供可扩展、高效且低成本的 LLM 大规模优化方案。
来源:arXiv · ML · arxiv.org