arXiv · ML· Joel Wills, Yuanfan Li, Yiming Ying, Ding-Xuan Zhou·· 7 小时前AI 评分36
Direct Preference Optimization (DPO) 的统计学习理论
Statistical Learning Theory for Direct Preference Optimization
AI 导读
研究通过“三角卷曲”刻画 DPO 中 Bradley-Terry 模型假设失效导致的结构性近似误差，并证明其对最终性能的限制。 论文对 ReLU 评分模型及裁剪模型推导了显式近似速率，建立了有限样本界限，区分了模型容量不足与结构性误设的影响。 结果将 DPO 目标与上下文偏好准确性（CPA）关联，将超出风险上界转化到 CPA 度量上。
来源：arXiv · ML · arxiv.org