蚂蚁开源UBTree推测解码方案,多模型实现数倍加速
热点事件持续更新
蚂蚁开源UBTree推测解码方案,多模型实现数倍加速
2 篇报道2 个报道来源8 小时前更新
先了解这件事
AI 综述
蚂蚁集团于2026年10月30日开源了基于扩散语言模型的并行树形推测解码方案UBTree及其配套drafting模型。该方案提出Unigram-Bigram Tree结构,旨在提升高熵目标分布下的生成多样性。 UBTree 结合单字提议器与双字选择器,利用重归一化 KL 目标函数训练选择器以拓宽监督信号。在性能测试中,该方案在 Qwen3-8B 模型上实现了平均 6.94 倍的加速,在 Ling3-Flash-124B MoE 模型上取得了 3.43 倍的平均加速比。
AI 根据报道生成 · 36 分钟前更新
最新进展10月30日 12:00
UBTree: 基于单字模型和双字模型并行树草稿生成以加速推测解码报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- arXiv · NLPUBTree: 基于单字模型和双字模型并行树草稿生成以加速推测解码
summary_zh: UBTree 提出了一种结合单字提议器与双字选择器的并行推测解码草稿生成器,旨在解决现有并行方法在高熵目标分布下多样性不足的问题。 该方法利用重归一化 KL 目标函数训练选择器,拓宽监督信号以增强树结构中的有效分支。
- 蚂蚁开源蚂蚁开源 UBTree 推测解码方案与配套 drafting 模型
inclusionAI 开源扩散语言模型并行树形推测解码方案 UBTree,在 Qwen3-8B 上实现平均 6.94× 加速,并在 Ling3-Flash-124B MoE 模型上取得 3.43× 平均加速比。
本事件热度走势
- 可比范围当前
- 16
- 可比范围峰值
- 1710月30日 17:00
- 近 24 小时变化
- –
05101520
17:0018:0019:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。