arXiv · AI· Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li·· 1 天前AI 评分31
无偏对齐框架 URM 与 UDPO 解决 LLM 偏好噪声问题
Unbiased Alignment for Large Language Models with Noisy Preferences
AI 导读
研究提出无偏奖励模型（URM）和无偏直接偏好优化（UDPO）损失函数，通过数学修正偏好噪声导致的扭曲，实现从噪声数据集进行无偏模型训练，无需真实标签。 方法被证明具备噪声容忍性、参数向下兼容性和分类校准性，在多个数据集实验中表现优于当前最先进基线，代码已公开，该工作已被 ICML 2026 接收。
来源：arXiv · AI · arxiv.org