arXiv · NLP· Feichen Song, Boyi Zeng, Yiqin Hao, Shixiang Song, He Li, Yizhou Yang, Zitong Wang, Yifan Liu, Ziwei He, Zhouhan Lin·· 4 小时前AI 评分35
LoopFold: 一种并行化循环深度加速 Looped Transformers 的方法
LoopFold: Parallelizing Recurrent Depth in Looped Transformers
AI 导读
LoopFold 通过将不同循环深度的计算折叠到并行批次中，解决了循环 Transformer 随深度增加导致的延迟问题。 该方法在 1.4B 模型上进行了测试，零样本准确率从 53.41% 提升至 56.38%，同时相比九个循环的普通模型，解码延迟降低了 46%。
来源：arXiv · NLP · arxiv.org