arXiv · ML· Pascal Sager, Benjamin Grewe, Pau Vilimelis Aceituno, Thilo Stadelmann·· 3 天前AI 评分32
Grokking 现象可被引导:通过学习规则选择理想解
Grokking Can Be Steered: Selecting Desirable Solutions By Choice Of Learning Rule
AI 导读
研究揭示学习规则控制 Grokking 过程中的电路大小,通过统一信用分配条件,可将从层神经元 60% 扩展至 99% 参与电路。 Nero 优化器因逐神经元归一化实现电路分散,而 Adam 等保留紧凑电路;分散电路抗删减性强,紧凑电路剪枝效率及特征重组任务迁移速度约快 2 倍。
来源:arXiv · ML · arxiv.org