arXiv · ML· Xiaowei Ji, Lishan Xu, Jianing An, Jie Luo, Wenjun Wu, Lei Huang·· 6 小时前AI 评分25
AdamPM: 通过矩池化实现内存高效的 LLM 优化
AdamPM: Memory-Efficient LLM Optimization via Moment Pooling
AI 导读
提出内存高效的 Adam 优化器变体 AdamPM，将相邻矩条目分组共享均值，将二阶矩内存降低至原需求的 $1/s$。 该方法直接继承 Adam 超参数并易于集成现有实现，实验表明在 LLM 预训练和微调中能维持模型性能与训练速度。 代码已公开，系统验证了二阶矩池化作为有效设计。
来源：arXiv · ML · arxiv.org