线性RNN缩放定律论文发布

Ziyan Chen等研究人员在arXiv的机器学习（cs.LG）板块发布了一篇关于线性RNN缩放定律的论文。该研究专注于稳定的教师-学生线性RNN模型，推导了预测损失的缩放定律。 论文详细揭示了序列长度P与轨迹数N在特定参数区间内的非等价性。研究发现，当创新与初始化协方差的幂律指数满足特定不等式条件时，更重的初始化尾部会改变缩放速率，序列长度在抑制初始化瞬态的同时保留了特定的方差因子。 该论文共43页，包含3个图表，最新修订版（v2）于2026年10月18日发布。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。