跳到正文
蚂蚁开源· inclusionAI·· 11 小时前AI 评分54

蚂蚁开源 UBTree 推测解码方案与配套 drafting 模型

UBTree 开源,让推测解码从单路径迈入并行树形阶段

AI 导读

inclusionAI 开源扩散语言模型并行树形推测解码方案 UBTree,在 Qwen3-8B 上实现平均 6.94× 加速,并在 Ling3-Flash-124B MoE 模型上取得 3.43× 平均加速比。

来源:蚂蚁开源 · mp.weixin.qq.com