arXiv · NLP· Jiarun Shen, Xiao Li·· 5 小时前AI 评分23
循环语言模型训练预算下反向传播窗口与更新频率的研究
Deeper Backpropagation or More Updates? Training Looped Language Models Across Budgets
AI 导读
研究显示，在循环语言模型训练中，随着计算预算增加，较短的反向传播窗口优势逐渐减弱，最优窗口选择取决于可用预算。 实验在相同数据下隔离每token效率，并在近似相等训练时间下对比完整训练方案，发现大预算下扩展训练收益下降幅度更大。
来源：arXiv · NLP · arxiv.org