针对重尾噪声的异步优化方法：延迟感知学习与补偿机制

针对Transformer模型中常见的重尾随机梯度噪声，该研究探讨了两种处理慢速节点的异步通信方案。 通过提出基于延迟感知学习率调度和延迟补偿的算法改进，其收敛保证达到了重尾噪声下的最优速率。 实验表明，该方法在图像和语言任务中优于现有的同步与异步方法，且具有更低的精度/运行时权衡及对超参数更强的鲁棒性。

摘自 arXiv · ML

还没有足够的连续观测数据，暂不绘制趋势。