跳到正文
arXiv · ML· Zhanhong Jiang, Soumik Sarkar·· 2026-10-12AI 评分23

个性化联邦直接偏好优化通过 LoRA 适配器实现分布式语言模型对齐

Personalized Federated Direct Preference Optimization via LoRA Adapters

AI 导读

提出个性化联邦直接偏好优化(pFedDPO),允许每个客户端在共享基础模型上维护私有 LoRA 适配器以捕捉特定偏好分布。 证明了该分解将联邦直接偏好优化边界中的梯度多样性替换为更小的有效剩余异质性,实验显示其梯度范数低于原生方法且保持具有竞争力的训练损失和每客户端奖励精度。

来源:arXiv · ML · arxiv.org