跳到正文
arXiv · ML· Xingzi Xu, Mehmet Saygin Seyfioglu, Karim Bouyarmane·· 2 天前AI 评分31

大语言模型对齐方法的边际动力学理论

Margin Dynamics for Large Language Model Alignment

AI 导读

研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。

来源:arXiv · ML · arxiv.org