跳到正文
arXiv · AI· Songlin Jiang, Zhiyu Li, Terry Kong, Yu Yao, Youngeun Kwon, Bernard Nguyen, Ashwath Aithal, Mario Di Francesco·· 2026-10-07AI 评分29

NeMo-DCR:万亿参数规模下用于可扩展智能体强化学习的位级精确增量压缩重拟合

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

AI 导读

提出 NeMo-DCR 实现万亿参数模型下位级精确的增量压缩重拟合,解决跨集群权重同步瓶颈。在 1T 模型 3% 变更率下,将重拟合时间从 87.5 分钟缩短至 150 秒。相比全量检查点传输,30B 至 1T 模型的重拟合速度提升 12 至 40 倍。

来源:arXiv · AI · arxiv.org