arXiv · ML· Vedant Waykole, Haroon R. Lone·· 2 天前AI 评分21
Q-LocalAdam:面向边缘联邦学习的内存高效客户端自适应优化器
Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
AI 导读
Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。
来源:arXiv · ML · arxiv.org