arXiv · AI· Zhengyuan Fan, Zhonghua Wu, Yuxuan Du, Qun Chen·2026-10-27 12:00· 1 天前AI 评分33

ξ-DPO: 基于比率奖励边界的直接偏好优化

$\xi$-DPO: Direct Preference Optimization via Ratio Reward Margin

AI 导读

论文提出 ξ-DPO 方法，解决 SimPO 中 β 和 γ 联合调优困难且语义不对齐的问题。通过将偏好目标重构为最小化奖励间隙与最优边界的距离，并定义比率奖励 ξ 替代原有参数。ξ 可直接由初始奖励分布确定，实验显示其在多个开源基准上显著优于现有方法。

来源：arXiv · AI · arxiv.org