跳到正文
arXiv · ML· Rui Ning, Om Chabra, Hari Balakrishnan·· 2 天前AI 评分23

Spool 框架实现混合视觉语言模型低延迟流式推理

Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models

AI 导读

Spool 是一款免训练框架,通过缓存帧状态变换实现混合视觉语言模型的精准移除过期帧。 在五个开源模型和四项视频推理基准测试中,Spool 将 p95 首 token 延迟降低 6.6 倍,准确率平均提升 2.3 个百分点。

来源:arXiv · ML · arxiv.org