Uni-LaSpec视觉语言模型自适应投机解码框架发布

2026年11月，Uni-LaSpec 团队提出了一种面向视觉语言模型（VLM）的负载自适应推测解码框架。该框架旨在解决 VLM 推测解码中常受限于视觉证据缺失及固定验证结构低效的技术难题，通过引入块并行架构来优化验证流程。 Uni-LaSpec 的核心机制包括复用验证器注意力以及应用边际成本准则以优化验证结构。这一设计使得模型在保持高效的同时，能够动态适应不同的负载需求，从而提升整体解码性能。 在性能验证方面，该框架在 6 类 VLM 和 17 个 benchmark 上进行了测试。结果显示，仅选取 8 个视觉 token 即可保留 98.6% 的接受率。在贪心解码模式下，其文本吞吐量最高提升达 5.11 倍，多模态吞吐量提升达 3.24 倍，展现了显著的效率优势。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。