arXiv · ML· Bin Luo, Param Venkat Vivek Kesireddy, Anil Vallepu·· 1 天前AI 评分25
RW-DPO：基于可靠性加权的直接偏好优化方法
Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
AI 导读
RW-DPO 通过为每个比较赋予可靠性权重 $w_i$，并结合最小极大凹惩罚函数联合估计权重与策略，以应对偏好数据中的噪声。 在 DPO 微调语言模型的实验中，面对 10-30% 翻转标签，RW-DPO 的胜率不随翻转率增加而下降，且优于基于干净标签训练的 DPO。
来源：arXiv · ML · arxiv.org