arXiv · ML· Qisai Liu, Zhanhong Jiang, Zahid Hasan, Soumik Sarkar·· 10 天前AI 评分25
P2O与PKTO:统一框架实现稳定且无奖励的对齐优化
Proximal Preference Optimization: A Unified Framework for Stable and Reward-Free Alignment
AI 导读
研究者提出P2O与PKTO算法,统一了DPO隐式奖励与PPO信任域稳定性。P2O在DPO偏好边缘引入截断重要性比率,PKTO则结合前景理论效用边缘,均无需奖励模型。 两个算法在多LLM的三个偏好基准上,对齐质量匹配或超越DPO与KTO,且在重复数据集复用时稳定性更好。代码库已开源。
来源:arXiv · ML · arxiv.org