arXiv · ML· Dongyang Li, Mingsong Yan, Zheng Zhang, Sui Tang·· 6 小时前AI 评分25
T-MUON：基于 t-SVD 的张量化 Muon 优化器用于 LLM 预训练
T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
AI 导读
T-MUON 提出基于 t-SVD 的张量化方法，将 Transformer 梯度分组为三阶张量并定义 Muon 式更新，在 GPT-2 和 LLaMA 风格模型（51M-1.3B 参数）的 FineWeb 训练验证中表现优异。
来源：arXiv · ML · arxiv.org