arXiv · ML· Ensieh Khazaei, Baturalp Buyukates, Dimitrios Hatzinakos·· 10 天前AI 评分25
FedLoVA:面向 LLM 联邦 LoRA 微调的仅价值聚合方法
FedLoVA: Value-Only Aggregation for Federated LoRA Fine-Tuning of Large Language Models
AI 导读
FedLoVA 提出仅共享 LoRA 中 value projection 的联邦微调框架,相比现有基线通信成本最高降低 7.8 倍。 该框架在本地对 query 和 value projections 均训练 LoRA adapters,观察到 value projection 收敛显著快于 query projection。
来源:arXiv · ML · arxiv.org