跳到正文
arXiv · ML· Changqing Shi, Anan Liu, Genbao Chen, Junchao Yang·· 17 天前AI 评分25

SparseLift: 自动优化工业级推荐模型训练中的不透明稀疏路径

SparseLift: Automatically Optimizing Opaque Sparse Paths in Industrial-Scale Recommendation Model Training

AI 导读

SparseLift 提出一种低开销编译器,将推荐模型训练中的不透明稀疏节点重构为可分析子图,实现全图优化。 它在包含 100B 稀疏参数的工业视频平台任务上,将稳态吞吐量提升 16.5%;在 DLRM 基准测试中,相较于 TorchRec 实现 1.26 倍加速。

来源:arXiv · ML · arxiv.org