论文揭示Grokking迁移中矩阵与稳定性分量角色

Zeyu Jia于2026年9月16日发布论文《Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability》，并于10月27日更新v2版本。该研究聚焦算法任务Grokking迁移中不同组件的作用机制。 研究发现，同时传输内部注意力/MLP矩阵（B）和表示层（E+U），相比仅传输表示层，可将早期准确率提升5.46个百分点，并减少617步验证确认延迟。 在后续优化方面，冻结载体（E+U）能有效抑制1层模型的回撤，但2层模型中内部块在较高步长下仍较脆弱。采用特定调度策略可将回撤压缩至0.08%至0.17%区间。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。