跳到正文
arXiv · NLP· Shikhar Shiromani·· 21 天前AI 评分43

权重更新杠杆率:Olmo-3等模型训练阶段的增益度量

What a Weight Update Buys: Leverage Across Training Stages

AI 导读

研究引入杠杆率精确度量单位权重变化的行为收益,发现后训练权重变动极小却显著改变行为,而预训练变动大但仅带来缓慢漂移。 杠杆率将Olmo-3等模型checkpoint排序跨四个数量级:预训练窗口处于随机水平,SFT高出5倍,RL-Zero/RLVR为400-1,500倍,DPO达400-23,000倍。

来源:arXiv · NLP · arxiv.org