arXiv · ML· Changqing Shi, Anan Liu, Genbao Chen, Junchao Yang·· 17 天前AI 评分25
SparseLift: 自动优化工业级推荐模型训练中的不透明稀疏路径
SparseLift: Automatically Optimizing Opaque Sparse Paths in Industrial-Scale Recommendation Model Training
AI 导读
SparseLift 提出一种低开销编译器,将推荐模型训练中的不透明稀疏节点重构为可分析子图,实现全图优化。 它在包含 100B 稀疏参数的工业视频平台任务上,将稳态吞吐量提升 16.5%;在 DLRM 基准测试中,相较于 TorchRec 实现 1.26 倍加速。
来源:arXiv · ML · arxiv.org