算法学习中的最优数据量：Transformer 在中等规模数据集上收敛更快

研究发现小型 Transformer 在 Needleman-Wunsch 矩阵生成任务中，于中等规模数据集时能以最少优化器更新步数达到高准确率。 在更大数据集上，模型收敛速度反而变慢。研究通过元胞自动机（ECA）实验表明，小样本引起的输出偏差和单输入依赖等低阶预测信号有助于加速规则学习，而这些信号随数据集增大而减弱。该研究揭示了采样波动对获取规则的促进作用。