研究：微调更新需噪声基线
热点事件持续更新
研究：微调更新需噪声基线
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年10月19日，arXiv发布一篇基准研究。核心观点是，评估语言模型微调权重更新的秩（rank）时，必须对比随机噪声基线，否则结论不可靠。 研究测试了13个最大8B参数的模型。结果显示，微调更新普遍呈现“少量强方向加长尾”分布。指令数据更新并未显著优于维基百科或代码数据；DPO在标签随机交换时更新效果相同；随机文本则产生最集中的更新。 该研究支持了“后训练表象化”的观点，指出权重有效秩变化很小。同时证明，仅靠随机更新虽能微调秩，但会破坏模型功能。
AI 根据报道生成 · 7 小时前更新
最新进展10月19日 12:00
微调更新的秩度量需要噪声基线：针对语言模型权重变化的基准研究报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv · ML微调更新的秩度量需要噪声基线：针对语言模型权重变化的基准研究
研究发现微调权重更新的高秩度量在噪声基线下表现各异，13个最大8B参数的模型均显示少量强方向伴随长尾。 指令数据更新并未显著优于维基百科或代码，DPO在偏好标签随机交换时更新相同，随机文本产生最集中更新。 论证了权重有效秩变化微小说明后训练表象化的近期主张，证明随机更新仅微调秩但破坏模型。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1010月19日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:0016:0017:0018:0019:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。