arXiv · ML· Xingzi Xu, Mehmet Saygin Seyfioglu, Karim Bouyarmane·· 2 天前AI 评分31
大语言模型对齐方法的边际动力学理论
Margin Dynamics for Large Language Model Alignment
AI 导读
研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。
来源:arXiv · ML · arxiv.org