arXiv · AI· Geng Zhang, Fangzhao Zhang, Cong Xie, Tiantian Fan, Yang You·· 8 小时前AI 评分25
Split-KV:训练扩散起草器的高效上下文并行方法
Split-KV: Efficient Context Parallelism for Training Diffusion Drafters
AI 导读
Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。
来源:arXiv · AI · arxiv.org