arXiv · NLP· Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, Hanghang Tong·· 3 天前AI 评分31
Multi-Branch Transformer 如何通过分支并行提升语言模型扩展效率
Multi-Branch Transformer
AI 导读
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
来源:arXiv · NLP · arxiv.org