arXiv · ML· Molly Wang·· 13 小时前AI 评分26
更快得出错误答案:联邦优化中本地更新的代价
Faster to the Wrong Answer: The Price of Local Updates in Federated Optimization
AI 导读
联邦优化中的本地计算虽能改善更新条件数,却会引入偏差导致固定点偏离全局最优。研究表征了给定条件数界下可实现的最坏情况最小偏差。 针对强凸二次目标,建立了精确的最坏情况偏差公式,证明小步长本地梯度下降与近端更新可达此界,并将非交换 Hessian 矩阵问题简化为标量曲率分布。 分析进一步扩展至非二次的光滑强凸目标,并量化了非精确本地求解引入的误差。
来源:arXiv · ML · arxiv.org