跳到正文
arXiv · ML· Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee·· 2 天前AI 评分23

低损失区域不对齐引发 Grokking:基于模态连通性的机制分析

Misalignment of Low-Loss Regions Causes Grokking

AI 导读

研究揭示低损失区域不对齐是引发 Grokking 的关键机制,并在标准模块算术任务中构建了“反-Grokking”反例,挑战了现有关联解释。 基于模态连通性的分析框架表明,当训练与验证划分的低损失区域对齐良好时,仅调整超参数无法产生 Grokking,模型动态将坍缩为可训练或不可训练状态。

来源:arXiv · ML · arxiv.org