arXiv · ML· Harikrishna Kuttivelil, Katia Obraczka·· 6 小时前AI 评分21
SPADE-KD 提出一种完全去中心化的模型蒸馏框架，专为解决非中心化环境中模型架构和数据分布异质性问题设计。
SPADE-KD: Peer-to-Peer Collaborative Learning under Heterogeneous Settings
AI 导读
该框架利用自适应蒸馏和效用驱动的同伴选择两种机制，使客户端能根据其本地数据表现更有针对性地学习优于自身的模型。 在联邦分类任务中，该方法比朴素的去中心化蒸馏具有更低的损失和更快的收敛速度。
来源：arXiv · ML · arxiv.org