高维稀疏更新下随机动量的动力学

研究揭示了高维稀疏更新场景下随机动量动力学的相变结构，发现其由两个内在时间尺度的比率主导：动量保留时间与学习时间。 当学习时间远慢于保留时间时，系统极限行为匹配 SGD；当二者重合时，则恢复经典 heavy-ball 动力学。 不同 token 稀疏度下的振荡动力学发生在不同动量值，导致全局动量在 token 频率间产生频谱冲突。