跳到正文
arXiv · ML· Jichao Jiang, Cristian McGee, El Houcine Bergou, HanQin Cai, Aritra Dutta·· 2026-10-08AI 评分38

TACO 优化器:面向 LLM 微调的三值绝对值逐列稀疏算法

TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning

AI 导读

研究人员提出 TACO 优化器,将 LLM 全参数微调的持久优化器状态相对 AdamW8bit 减少 174 倍。 该优化器基于 Muon 的算子范数视角,通过选取二维权重矩阵每列最大幅值分量的符号计算精确最速下降方向,并仅维护每列少量低精度梯度分量。

来源:arXiv · ML · arxiv.org