跳到正文
arXiv · ML· Akash Kumar, Karthik Sankaranarayanan·· 8 小时前AI 评分35

模加法中的 Grokking:训练损失平坦但特征演化

Flat Loss, Evolving Features: Grokking in Modular Addition

AI 导读

ReLU 网络在模加法任务中可保持 100% 训练准确率,同时训练交叉熵保持平坦,留出集准确率从 0 升至 90% 以上。 通过 Fourier 比例增益定理和随机初始化实验,验证了低正损失下隐层特征变化先于泛化的共存现象。 表明训练损失的平台期并非学习的停滞,泛化能力可在模型置信度未显著降低的情况下持续提升。

来源:arXiv · ML · arxiv.org