跳到正文
arXiv · ML· Tingfeng Lan, Yusen Wu, Bin Ma, Zhaoyuan Su, Rui Yang, Tekin Bicer, Masahiro Tanaka, Olatunji Ruwase, Dong Li, Yue Cheng·· 2026-10-16AI 评分25

ZenFlow 实现 LLM 训练无停顿卸载

ZenFlow: Enabling Stall-Free Offloading for LLM Training

AI 导读

ZenFlow 通过优先处理重要梯度,将 LLM 微调中的 GPU 计算与 CPU 卸载解耦,实现无停顿训练。 系统利用重要梯度的时空局部性高效识别关键参数,评估显示其带来最高 5 倍端到端加速、85% GPU 停顿减少及 72% 云成本降低。

来源:arXiv · ML · arxiv.org