arXiv · ML· Saber Malekmohammadi, Kevin Kuo, Virginia Smith, Golnoosh Farnadi·· 9 天前AI 评分25
SPRA-LoRA:结合随机投影与秩感知学习率的联邦 LoRA 微调方法
Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
AI 导读
summary_zh: 研究者提出 SPRA-LoRA,这是一种联邦学习下的秩感知微调策略,通过冻结并定期重采样矩阵 A 实现 50% 的计算与上行通信开销降低。
来源:arXiv · ML · arxiv.org