循环语言模型训练预算下反向传播窗口与更新频率的研究

研究显示，在循环语言模型训练中，随着计算预算增加，较短的反向传播窗口优势逐渐减弱，最优窗口选择取决于可用预算。 实验在相同数据下隔离每token效率，并在近似相等训练时间下对比完整训练方案，发现大预算下扩展训练收益下降幅度更大。

摘自 arXiv · NLP

还没有足够的连续观测数据，暂不绘制趋势。