跳到正文
arXiv · ML· Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi·· 2026-10-12AI 评分38

GraphDPO:基于偏好图的结构化直接偏好优化

Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph

AI 导读

针对直接偏好优化(DPO)在多重 rollout 场景下丢弃传递性结构的问题,论文提出 GraphDPO 方法。 该方法在由 rollout 排名诱导的有向无环偏好图上操作,将支配关系编码为边,并优化图结构的 Plackett-Luce 启发目标函数。 通过等价类构造处理并列与不可比较响应,保持每提示词线性复杂度;在推理与程序合成任务上表现优于标准 DPO。

来源:arXiv · ML · arxiv.org