跳到正文
arXiv · AI· Anish Khazane, Alex Saad-Falcon, Guanchu Wu, Marcio Porto, Jasper Shan, Fei Yu, Eugene Shulga, Intaik Park, Yongzhe Zhang, Xiaoyu Deng, Sheng Luo, Xiaoya Wang·· 16 小时前AI 评分33

FI-ITEP 用于大规模推荐模型:基于特征重要性的嵌入剪枝方法

Intelligent Embedding Pruning for Large-Scale Recommendation Models

AI 导读

提出基于特征重要性的嵌入剪枝方法 FI-ITEP,在三个大规模推荐模型上将总内存降低 20-40%,同时保持或提升精度。 该方法将剪枝比例分配给重要性较低的特征,减少 GPU 训练器数量(如 112 降至 80),每个模型发布节省 1000+ GPU 小时。在开源 DLRM 上验证了训练时间与 GPU 成本权衡。

来源:arXiv · AI · arxiv.org