arXiv · ML· Hong Nie, Zhangchi Gao, Jun Yu, Bo Wang, Jianqing Sun, Shengping Liu·· 10 天前AI 评分31
D3Tree:学习剪枝块扩散草稿树以用于高效验证
D3Tree: Learning to Prune Block-Diffusion Draft Trees for Efficient Verification
AI 导读
D3Tree 通过学习预测节点生存率来动态剪枝块扩散草稿树,解决了高并发服务下低效分支竞争验证容量的问题。 模型在 6 个视觉语言验证器和 17 个基准测试中表现最优,在 72 种负载设置中的 70 种情况下速度最快。单请求推理加速 3.2-4.0 倍,64 并发时加速 1.3-1.8 倍,且在时变到达轨迹下具有最低平均端到端延迟。
来源:arXiv · ML · arxiv.org