arXiv · ML· Yue Xia, Tayyebeh Jahani-Nezhad, Mayank Bakshi, Rawad Bitar·· 16 小时前AI 评分24
SeFoRA：解决异构客户端秩问题的草图聚合联邦低秩适配方法
SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks
AI 导读
SeFoRA 是一种草图聚合联邦 LoRA 算法，解决客户端 LoRA 秩不同导致的维度不兼容及双线性失配问题。 每个客户端传输本地更新 $\Delta \mathbf{W}$ 的线性草图供联邦端直接聚合，理论证明收敛速率为 $\mathcal{O}(T^{-1/2})$。 该方法在语言与视觉模型实验中对现有技术表现出性能优势。
来源：arXiv · ML · arxiv.org