arXiv发布高维稀疏更新下随机动量理论论文

1. 12:00
   arXiv · ML

   高维稀疏更新下随机动量的动力学

   研究揭示了高维稀疏更新场景下随机动量动力学的相变结构，发现其由两个内在时间尺度的比率主导：动量保留时间与学习时间。 当学习时间远慢于保留时间时，系统极限行为匹配 SGD；当二者重合时，则恢复经典 heavy-ball 动力学。 不同 token 稀疏度下的振荡动力学发生在不同动量值，导致全局动量在 token 频率间产生频谱冲突。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。