研究证实DPO中单模型对生成器存在系统性偏差

2026年10月28日，Giuseppe Curci等学者在arXiv发布论文，探讨直接偏好优化（DPO）中的Delta学习假设。研究指出，基于单模型对训练的DPO会引入依赖生成器的系统性偏差，导致训练效果低于使用多模型数据的情况。 实验表明，即使大模型的响应质量更高，单对数据仍可能因奖励黑客机制导致表现不佳。研究强调，增加生成器数量可部分缓解此效应，生成器多样性是构建偏好数据的关键因素。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。