跳到正文
arXiv · AI· Evan Chen, Shiqiang Wang, Dong-Jun Han, Shahryar Zehtabi, Christopher Brinton·· 5 小时前AI 评分28

FA-GC:联邦学习中的梯度校正方法

Correcting Before Adapting: Gradient Correction for Federated Adaptive Optimization

AI 导读

提出联邦自适应梯度校正(FA-GC),在梯度进入运行平均前进行校正以解决客户端漂移,收敛界不含数据异质性项。 在七项图像与语言任务中,FA-GC 平均收敛轮次最少,图像任务通信量更低;在强异质性下表现优于 FA-NT 及未校正优化器。

来源:arXiv · AI · arxiv.org