arXiv · ML· Khurram Khalil, Khaza Anuarul Hoque·· 10 天前AI 评分31
语言模型后训练中的谱秩与步长方向动态研究
Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training
AI 导读
研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。
来源:arXiv · ML · arxiv.org