跳到正文
arXiv · ML· Jinqian Chen, Jihua Zhu, Chang Liu·· 13 小时前AI 评分23

联邦学习 LoRA 重分配:提出 RASA 框架优化接收方感知知识迁移

Same Rank, Different Needs: Rethinking LoRA Redistribution in Federated Learning

AI 导读

现有联邦 LoRA 方法保留主奇异方向导致响应误差无界,本文提出 RASA 框架解决矩阵最优截断与接收方需求不匹配问题。 RASA 利用对角输入二阶矩执行无中心化 PCA,在 DomainNet-100 上将准确率提升 3.23 个百分点,SuperNI 任务 ROUGE-L 最高提升 8.33。 该框架支持资源、任务和数据异构场景下的高效模型微调,具有即插即用特性。

来源:arXiv · ML · arxiv.org