跳到正文
arXiv · ML· Yuma Oda, Ryan Mathieu, Roman Knyazhitskiy, Artur Chakhvadze·· 16 小时前AI 评分26

Weaver:基于分解先验的自回归草稿方法

Trees from Marginals: Autoregressive drafting with factorized priors

AI 导读

提出轻量级自回归适配器Weaver,通过构建提案树恢复条件依赖,实现4.08倍加速。 针对Gated Delta Net层优化CUDA内核,较DFlash基线性能提升16.3%。

来源:arXiv · ML · arxiv.org