Yuchen Li等提出“支持转移”理论解释微调准确率缺口

研究人员Yuchen Li等提出“支持转移”理论，解释预训练骨干网络微调中训练准确率提升而验证准确率停滞的现象。该理论指出，早期更新复用共享结构，后期拟合依赖较窄结构，导致泛化性降低。 实验在RoBERTa、DeBERTa和Qwen3-1.7B模型的90次运行中验证了该机制。结果显示，梯度分配变化与准确率缺口呈正相关，其中单轮次变化的原始相关在88/90次运行中为正值。 此外，研究还涵盖了视觉领域。在三个视觉数据集的15次ResNet-18运行中，两种读数指标仍保持正相关，证实了该机制在语言与视觉模型中的普遍性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。