跳到正文
arXiv · ML· Shenghui Li, Li Ju, Thiemo Voigt·· 9 天前AI 评分21

HiLo 与 Spar:通过压缩梯度传播实现分布式 on-policy 后训练的高效 LoRA 同步

Train High, Ship Low: Efficient LoRA Synchronization for Distributed On-Policy Post-Training

AI 导读

分布式 on-policy 后训练中,传输 LoRA 适配器易在带宽受限网络中成为瓶颈。HiLo 框架通过传播压缩梯度并本地重放优化器状态替代参数传输,解决此问题。 配合 Spar 梯度压缩器(结合谱截断、自适应秩分配和误差反馈),HiLo+Spar 在保持学习质量接近全同步的同时,仅传输适配器字节的 1.6%,并在带宽受限下将端到端更新速度提升最高 2.2 倍。

来源:arXiv · ML · arxiv.org