arXiv · ML· Zeyu Jia·· 6 小时前AI 评分31
揭示 Grokking 迁移中的组件作用：嵌入式矩阵传输与稳定性分析
Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability
AI 导读
研究发现，在算法任务 Grokking 迁移中，同时传输内部注意力/MLP 矩阵（B）和表示层（E+U）相比仅传输表示层，可将早期准确率提升 5.46 个百分点，并减少 617 步验证确认延迟。 在后续优化中，冻结载体（E+U）能有效抑制 1 层模型的回撤，但 2 层模型中内部块在较高步长下仍脆弱；采用特定调度策略可将回撤压缩至 0.08% 至 0.17% 区间。
来源：arXiv · ML · arxiv.org