arXiv · NLP· Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu·· 2 天前AI 评分31
TPHC 通过张量并行分组更新改进 Hyper-Connections
TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates
AI 导读
TPHC 将张量并行(TP)分片与 Hyper-Connections(HC)流整合,在不增加注意力或 FFN 子层参数及 FLOPs 的情况下提升残差流更新的表达力。
来源:arXiv · NLP · arxiv.org