随机学习动力学中信息获取的速度限制

该研究将 SGD 视为马尔可夫随机过程，推导出限制参数获取数据生成参数信息速率的 Fisher 信息流速度限制不等式。 该不等式将信息流上限分解为漂移与噪声贡献，量化了确定性学习力与 SGD 诱导波动的角色。 研究通过解析可处理的基函数线性回归验证了该界限，确认其能复现不同参数编码顺序与特征时间尺度。