跳到正文
arXiv · ML· Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun·· 24 天前AI 评分30

BASTION: 基于预算感知树结构块扩散起草的推测解码框架

Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting

AI 导读

BASTION 是一种无训练的预算感知推测解码框架,通过动态构建查询依赖的树结构扩散起草,在多种 GPU 架构上实现最高 6.61 倍于标准自回归解码的加速。 该框架集成了接受代理、在线延迟估计器和自适应最优优先扩展,利用硬件感知 roofline 模型平衡起草质量与验证成本,超越现有块扩散基线 39%。 发表于 NeurIPS 2026,保留目标模型分布且无需针对不同设置进行调优。

来源:arXiv · ML · arxiv.org