arXiv · ML· Eduardo Cueto-Mendoza, John D. Kelleher·· 4 天前AI 评分28
深度学习训练效率:Grokking 是否改变其动态?
Deep Neural Networks Training Efficiency: Does Grokking Modify its Dynamics?
AI 导读
研究表明,Grokking 不会实质性改变深度神经网络的训练效率动态。 实验在 16、32、64 位精度下测试了两种模型,发现长周期训练虽可诱导 Grokking,但效率曲线仍保持单调递减。 这证实了 Grokking 现象未对能耗与准确率的权衡产生显著影响。
来源:arXiv · ML · arxiv.org