arXiv · ML· Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee·· 2 天前AI 评分23
低损失区域不对齐引发 Grokking:基于模态连通性的机制分析
Misalignment of Low-Loss Regions Causes Grokking
AI 导读
研究揭示低损失区域不对齐是引发 Grokking 的关键机制,并在标准模块算术任务中构建了“反-Grokking”反例,挑战了现有关联解释。 基于模态连通性的分析框架表明,当训练与验证划分的低损失区域对齐良好时,仅调整超参数无法产生 Grokking,模型动态将坍缩为可训练或不可训练状态。
来源:arXiv · ML · arxiv.org