跳到正文
arXiv · NLP· Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, Hanghang Tong·· 3 天前AI 评分31

Multi-Branch Transformer 如何通过分支并行提升语言模型扩展效率

Multi-Branch Transformer

AI 导读

研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。

来源:arXiv · NLP · arxiv.org