arXiv · ML· Fatema Siddika, Abhijit Chunduru, Zilinghan Li, Ali Jannesari, Ravi Madduri·· 1 天前AI 评分23
FedSEAM：基于子空间专家共识合并的大语言模型联邦持续学习框架
FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging
AI 导读
FedSEAM 提出一种大语言模型联邦持续学习框架，通过子空间兼容性测试选择性共享专家内容，并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估，引入路由漂移与合并擦除防护机制，其中一种防护能精确保留选定子空间内的历史任务参数。
来源：arXiv · ML · arxiv.org