arXiv · ML· Yuzhou Ni, Ling Chen·· 2026-10-14AI 评分22
BSIPipe: 面向长序列大语言模型训练的双向序列级交错流水线并行
BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
AI 导读
提出双向序列级交错流水线并行 BSIPipe,解决长序列训练中单向调度的吞吐量瓶颈。 在 GPT 和 LLaMA3 实验上,平均加速比达到 1.11 至 1.13 倍。该方案通过单位拼接机制保持激活内存不变,并消除通信死锁风险。
来源:arXiv · ML · arxiv.org