arXiv · AI· Qishu Hu, Haozhao Wang, Zicong Hong, Yufeng Zhan, Yuanqing Xia·· 17 小时前AI 评分27
Raptor:基于投机解码的拒绝感知自适应树框架
Raptor: Rejection-aware Adaptive Tree based on Speculative Decoding
AI 导读
Raptor 提出一种无需训练的框架,通过联合调节候选覆盖率和草稿生成量来加速视觉语言模型(VLM)的树状投机解码。该框架利用拒绝反馈信号指导树深度、分支宽度和生成预算的更新,并在七个多模态基准上实现最高 2.39 倍的平均加速比。
来源:arXiv · AI · arxiv.org