arXiv · ML· Xuyuan Xiong, Siyu Chen, Zihan Shao, Yue Su, Weiyang Jin, Ping Luo, Zhuoran Yang, Xihui Liu·· 7 小时前AI 评分26
Looped Transformers 中截断反向传播的扩展规律研究
Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation
AI 导读
联合优化前向与反向循环次数时，完整 BPTT 优于截断设置；该结论基于近 600 次训练运行拟合的统一扩展规律。 规律显示在相同计算开销下，较少循环次数的完整 BPTT 一致优于截断设置；固定模型大小时，计算最优循环次数与训练 token 预算随计算量增长。 模型大小自由时，完全训练 2 个循环为最佳设置，相比计算最优非循环模型损失更低，非嵌入参数少约 27%，训练计算仅多 8%。
来源：arXiv · ML · arxiv.org