跳到正文
arXiv · ML· Meng Bi, Hong Huang, Jinlong Song, Charles Wang, Chengming Hu, Xi Chen, Ting Yu, Xue Liu·· 3 天前AI 评分26

FedFit 通过 Fisher 信息评分实现联邦动态稀疏训练

FedFit: Federated Dynamic Sparse Training via Fisher Information scoring

AI 导读

FedFit 提出基于 Fisher 信息矩阵的联邦动态稀疏训练框架,显著缩小稀疏与密集模型间的准确率差距。 该框架利用损失景观的二阶近似替代幅值启发式,在无显式 Hessian 计算开销下实现高效结构调整。 实验显示其在 CV 和 NLP 基准上优于 SOTA 方法并保持高通信效率,代码已开源。

来源:arXiv · ML · arxiv.org