跳到正文
arXiv · AI· Lishan Yang, Wei Emma Zhang, Nam Kha Nguygen, Po Hu, Yanjun Shu, Weitong Chen, Mong Yuan Sim·· 24 天前AI 评分20

FediLoRA:应对模态缺失约束的基础模型联邦微调实践

FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints

AI 导读

FediLoRA 提出了一种轻量级联邦 LoRA 聚合框架,旨在解决机构算力异构导致的 LoRA 秩不平衡及现实场景中模态缺失问题。 该框架利用简单平均和结构化编辑,使全局模型与个性化模型同时受益,在通用域和医疗域基准数据集上表现强劲。 实验证明 FediLoRA 适合医疗等实际部署场景,代码已公开,是目前首个同时应对这两项挑战的工作。

来源:arXiv · AI · arxiv.org