微调更新的秩度量需要噪声基线：针对语言模型权重变化的基准研究

研究发现微调权重更新的高秩度量在噪声基线下表现各异，13个最大8B参数的模型均显示少量强方向伴随长尾。 指令数据更新并未显著优于维基百科或代码，DPO在偏好标签随机交换时更新相同，随机文本产生最集中更新。 论证了权重有效秩变化微小说明后训练表象化的近期主张，证明随机更新仅微调秩但破坏模型。