arXiv · NLP· Shikhar Shiromani·· 21 天前AI 评分43
权重更新杠杆率:Olmo-3等模型训练阶段的增益度量
What a Weight Update Buys: Leverage Across Training Stages
AI 导读
研究引入杠杆率精确度量单位权重变化的行为收益,发现后训练权重变动极小却显著改变行为,而预训练变动大但仅带来缓慢漂移。 杠杆率将Olmo-3等模型checkpoint排序跨四个数量级:预训练窗口处于随机水平,SFT高出5倍,RL-Zero/RLVR为400-1,500倍,DPO达400-23,000倍。
来源:arXiv · NLP · arxiv.org