arXiv · ML· Kensuke Sasaki, Issei Sato·· 5 小时前AI 评分43
DPO在NTK线性化下的稀疏性分析：权重解耦机制
On the Sparsity of Direct Preference Optimization: Weight Disentanglement in the NTK Regime
AI 导读
DPO在NTK线性化下的优化动态显示隐式最大间隔偏置，提出“双重稀疏”概念，DPO更新方向是支持向量驱动的数据级稀疏与梯度抵消产生的参数级稀疏线性组合。
来源：arXiv · ML · arxiv.org