arXiv · ML· Rajdeep Haldar, Yue Xing, Qifan Song·· 7 小时前AI 评分30
f-RPO：基于 f-散度的排序偏好对齐方法
Divergence based Ranked Preference Alignment for LLMs
AI 导读
提出 f-RPO 目标函数，将基于散度的对齐扩展至排序反馈，并在 0.5B 至 8B 参数规模的 Qwen、Llama 及 Gemma 模型上优于基线。 该方法包含 total-variation 与 reverse-KL 变体，理论分析证明其收敛时保持偏好顺序，在排序与生成质量上表现一致领先。
来源：arXiv · ML · arxiv.org