跳到正文
arXiv · NLP· Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu·· 2 天前AI 评分31

TPHC 通过张量并行分组更新改进 Hyper-Connections

TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates

AI 导读

TPHC 将张量并行(TP)分片与 Hyper-Connections(HC)流整合,在不增加注意力或 FFN 子层参数及 FLOPs 的情况下提升残差流更新的表达力。

来源:arXiv · NLP · arxiv.org