跳到正文
热点事件持续更新

Split-KV扩散起草器训练并行方法

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

2026年11月5日，arXiv平台发布论文《Split-KV: Efficient Context Parallelism for Training Diffusion Drafters》。该方法由Geng Zhang等学者提出，旨在解决扩散起草器训练中的上下文并行效率问题。 Split-KV是一种精确的上下文并行方法，其核心机制是让每层注意力的通信量仅取决于查询大小，独立于上下文长度。在集群规模（CP）达到64时，该方法能保持85%至91%的弱扩展效率，相比最快基线实现了3.67倍的加速。 此外，该方法支持基于成本的全局查询视图，采用LPT策略将负载不均衡控制在1%以内，规划速度比最佳基线快三个数量级。论文同时开源了相关代码，方便研究人员复现和使用。

AI 根据报道生成 · 7 小时前更新

最新进展11月5日 13:00
Split-KV：训练扩散起草器的高效上下文并行方法

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. arXiv · AI
    Split-KV：训练扩散起草器的高效上下文并行方法

    Split-KV 提出一种精确的上下文并行方法，在 CP 规模 64 时保持 85%-91% 弱扩展效率，比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小，独立于上下文长度；全局查询视图支持基于成本的 LPT 策略，实现 <1% 负载不均衡，规划速度比最佳基线快三个数量级。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月5日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。