arXiv · ML· Masoud Kavian, Milad Sefidgaran, Youssef Attia El Hili, Malik Tiomoko, Abdellatif Zaidi·· 9 小时前AI 评分26
马尔可夫数据下流式联邦学习的泛化间隙研究
On the Generalization Gap of Streaming Federated Learning with Markovian Data
AI 导读
论文利用信息论与率失真技术，推导了客户端数据遵循马尔可夫过程时，聚合模型的期望泛化间隙上界。 在交叉熵损失下，研究将界限特化于线性下一词预测（LNTP）和自注意力下一词预测（SANTP），量化了客户端数量、通信轮次及混合时间对泛化的影响。 研究揭示了通信-泛化权衡，指出频繁聚合虽利于优化但可能削弱泛化保证，并表明在固定数据预算下分布式流式学习可能优于集中式。
来源：arXiv · ML · arxiv.org