跳到正文
arXiv · NLP· Shaokun Zhang, Yifan Zhang, Jian Hu, Yueying Li, Hao Zhang, Binfeng Xu, Jan Kautz, Yi Dong·· 2026-10-06AI 评分36

LoGRA 如何利用低秩梯度草图扩展大语言模型强化学习

LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches

AI 导读

LoGRA 通过低秩梯度草图降低大语言模型强化学习的内存需求,在推理任务中将平均训练内存减少最多 45.7% 且不牺牲性能。该方法结合预测 KL 步长控制防止更新过大,支持 27B 参数模型在单节点八 GPU 上稳定训练超过 1,100 步,代码已在 Molt 库开源。

来源:arXiv · NLP · arxiv.org