arXiv · AI· Grigory Begunov, Alexander Tyurin·· 14 小时前AI 评分26
同步 SGD 近优解：理论证明其在异构计算场景中的优越性
Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
AI 导读
研究理论证明同步 SGD 及其稳健变体 m-Synchronous SGD 在异构计算和通信场景中时间复杂度近优。 分析表明同步方法在随机延迟及工人对抗性部分参与下表现最优，仅差对数因子。尽管非通用解，但已满足多数现代异构场景需求。
来源：arXiv · AI · arxiv.org