跳到正文
arXiv · ML· Saber Malekmohammadi, Kevin Kuo, Virginia Smith, Golnoosh Farnadi·· 9 天前AI 评分25

SPRA-LoRA:结合随机投影与秩感知学习率的联邦 LoRA 微调方法

Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA

AI 导读

summary_zh: 研究者提出 SPRA-LoRA,这是一种联邦学习下的秩感知微调策略,通过冻结并定期重采样矩阵 A 实现 50% 的计算与上行通信开销降低。

来源:arXiv · ML · arxiv.org