arXiv · ML· Xin Guo, Arushi Rai, Xiang Zhou, Qiang Zhang, Siyu Lin, Xiangjun Fan, Lizhu Zhang·· 2 天前AI 评分27
VisHead-Spec:面向多模态推测解码的头路由视觉注意力机制
VisHead-Spec: Head-Routed Visual Attention for Multimodal Speculative Decoding
AI 导读
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
来源:arXiv · ML · arxiv.org