arXiv · AI· Adam Piaseczny, Md Kamran Chowdhury Shisher, Shiqiang Wang, Christopher G. Brinton·· 2026-10-05AI 评分25
面向选择性状态空间模型的分布式学习:架构感知收敛分析
Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis
AI 导读
论文推导了选择性状态空间模型(SSM)的架构感知梯度平滑界,并分析了 FedAvg 和 FedProx 的收敛性,以弥补现有联邦学习方法对 SSM 结构特性考量不足的空白。 研究者基于该理论分析了递归稳定性、输入依赖离散化和状态投影范数对优化过程的影响,并在六个文本域上使用 Mamba2 对九种联邦学习算法进行了语言建模实验验证。
来源:arXiv · AI · arxiv.org