跳到正文
arXiv · ML· Ping Liu, Yan Yan·· 14 天前AI 评分33

当分数与偏好冲突:DPO 中约束漂移的对齐前诊断与自适应校正

When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO

AI 导读

DPO 在处理成对偏好与点式指标冲突时易发生约束漂移。论文提出 CoDPO 方法,通过计算数据集统计量诊断漂移并进行自适应校正。 实验显示 CoDPO 在四个领域均能减少漂移,同时保留 DPO 的偏好学习效果。该方法优于硬过滤及现有约束基线,已被 NeurIPS 2026 接收。

来源:arXiv · ML · arxiv.org