arXiv · AI· Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao·· 17 小时前AI 评分33
从“弱”信号到强模型:基于 LoRA 合并的偏好差聚合
From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging
AI 导读
PDA 框架通过聚合多个弱-更弱模型对的偏好差提升强模型性能,PDA-GAM 使 Qwen3-8B 在推理与搜索任务上平均分别提升 6.8 和 7.3 分。 该框架利用 LoRA 适配器实例化偏好差,并引入几何对齐合并(GAM)通过正交 Procrustes 旋转对齐奇异基,以优化独立训练适配器的组合效果。
来源:arXiv · AI · arxiv.org