跳到正文
arXiv · ML· Eduardo Cueto-Mendoza, John D. Kelleher·· 4 天前AI 评分28

深度学习训练效率:Grokking 是否改变其动态?

Deep Neural Networks Training Efficiency: Does Grokking Modify its Dynamics?

AI 导读

研究表明,Grokking 不会实质性改变深度神经网络的训练效率动态。 实验在 16、32、64 位精度下测试了两种模型,发现长周期训练虽可诱导 Grokking,但效率曲线仍保持单调递减。 这证实了 Grokking 现象未对能耗与准确率的权衡产生显著影响。

来源:arXiv · ML · arxiv.org