跳到正文
Hugging Face Blog·· 10 天前精选AI 评分67

Liquid AI 发布 LFM2.5-VL-DSpark 视觉语言模型加速草案

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 为 LFM2.5-VL-3B 发布 DSpark 推测解码草案,在端侧实现最高 3.13 倍解码加速,端到端提速最高 2.62 倍。该草案增加 280M 参数(约为目标模型的 8.9%),支持 llama.cpp、MLX-VLM 和 SGLang,适用于 CPU 和 GPU 部署。

推荐理由

该Drafter将LFM2.5-VL-3B端侧解码提速至多3.13倍且输出无损,为视觉模型在资源受限设备上提供了可复现的加速方案。

来源:Hugging Face Blog · huggingface.co