arXiv · ML· Yuchen Li, Zongqi Fan, Ken-Tye Yong, Nguyen H. Tran·· 8 小时前AI 评分26
为何会出现训练-验证分离？预训练骨干网络中的更新压力密度动态
Why Does Train-Validation Separation Emerge? Update-Pressure Density Dynamics in Pretrained Backbones
AI 导读
研究人员提出“支持转移”理论，解释微调中训练准确率提升而验证准确率停滞导致缺口扩大的现象。 理论指出早期更新复用共享结构，后期拟合依赖较窄结构且泛化性低。实验在 RoBERTa、DeBERTa 和 Qwen3-1.7B 等模型的 90 次运行中，证实梯度分配变化与准确率缺口呈正相关。
来源：arXiv · ML · arxiv.org