FedSEAM提出LLM联邦持续学习框架

2026年10月27日，研究人员在arXiv发布FedSEAM论文。该框架旨在解决大语言模型在联邦持续学习中平衡新旧任务知识的问题，将任务知识组织为稀疏专家进行选择性共享。 在客户端，任务感知的瓦片选择为新任务分配容量，子空间兼容性测试决定复用哪些专家瓦片及何处引入新容量。服务器端通过子空间专家共识合并，仅在各方达成一致的方向上向共识移动，以保留客户端特有特征。 研究团队识别出路由漂移和合并擦除两种遗忘来源，并提出三种防护机制，其中一种能精确保留选定子空间内的历史任务参数。该框架在TRACE基准上利用Qwen3-4B和Llama-3.2-3B模型进行了评估，考察了学习新任务与保留先验知识间的平衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。