跳到正文
arXiv · NLP· Euijin Hong, Guannan Qu·· 21 天前AI 评分42

AK-Momentum:一种基于激活值的各向异性动量更新方法

Activation-Keyed Momentum: An Anisotropic Momentum Update via the Delta Rule

AI 导读

AK-Momentum 利用线性层输入的激活值作为键值,通过 delta rule 实现方向感知的动量更新,相比指数移动平均能更快清除陈旧方向。该方法可即插即用替换任意优化器的动量缓冲,在 FineWeb-Edu 预训练中使 AdamW 减少最多 46.64% 的训练步数达到同等验证损失。额外计算开销控制在 gated-MLP 块线性成本的 22.2% 至 25.0% 之间,且无需额外持久内存。

来源:arXiv · NLP · arxiv.org