跳到正文
arXiv · ML· Gwen Legate, Rahaf Aljundi, Eugene Belilovsky·· 2026-10-16AI 评分21

Optimal Hydra:基于数据驱动的异质联邦学习用于 LLM 微调

Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets

AI 导读

提出首个专为 LLM 微调设计的模型异质联邦学习框架 Optimal Hydra,通过全局层选择与客户端注意力头选择生成 Hydra-nets。该框架利用客户端数据分布定制子网络结构,在三类数据集实验中优于基线方法并降低本地资源消耗。

来源:arXiv · ML · arxiv.org