arXiv · AI· Giuseppe Curci, Stefano Simonazzi, Andrea Molinari, Andrea Zugarini·· 5 小时前AI 评分27
探索Delta学习假设的局限：直接偏好优化中单模型对生成器偏差
Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization
AI 导读
研究证明，直接偏好优化（DPO）中基于单模型对的Delta学习假设会引入依赖生成器的系统性偏差，导致训练效果低于多模型数据。 实验发现，即使大模型响应质量更高，单对数据仍因奖励黑客（reward hacking）导致表现不佳；增加生成器数量可部分缓解此效应。 结果强调生成器多样性是构建偏好数据的关键因素。
来源：arXiv · AI · arxiv.org