Linear RNN 缩放定律：何时更长序列优于更多序列

研究在稳定的教师-学生线性 RNN 模型中推导了预测损失的缩放定律，揭示了序列长度 $P$ 与轨迹数 $N$ 在特定参数区间的非等价性。 当创新与初始化协方差的幂律指数满足 $\alpha-2r\le\theta<\alpha$ 时，更重的初始化尾部改变了缩放速率，序列长度同时抑制了初始化瞬态并保留了 $(NP)^{-1}$ 方差因子。