研究揭示Grokking现象：模加法中训练平坦但泛化提升

1. 12:00
   arXiv · ML

   模加法中的 Grokking：训练损失平坦但特征演化

   ReLU 网络在模加法任务中可保持 100% 训练准确率，同时训练交叉熵保持平坦，留出集准确率从 0 升至 90% 以上。 通过 Fourier 比例增益定理和随机初始化实验，验证了低正损失下隐层特征变化先于泛化的共存现象。 表明训练损失的平台期并非学习的停滞，泛化能力可在模型置信度未显著降低的情况下持续提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。