arXiv · AI· Hong Nie, Zhangchi Gao, Yuqian Liang, Jun Yu, Bo Wang, Jianqing Sun, Shengping Liu·· 7 小时前AI 评分37
Uni-LaSpec：面向视觉语言模型的负载自适应推测解码框架
Seeing What Matters, Verifying What Pays: Load-Adaptive Speculative Decoding for Vision-Language Models
AI 导读
视觉语言模型推测解码常受限于视觉证据缺失及固定验证结构的低效。Uni-LaSpec 提出块并行框架，通过复用验证器注意力及边际成本准则优化验证结构。 该框架在 6 类 VLM 和 17 个 benchmark 上验证，仅选 8 个视觉 token 即可保留 98.6% 接受率；贪心解码下文本吞吐量最高达 5.11x，多模态达 3.24x。
来源：arXiv · AI · arxiv.org