arXiv · NLP· Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan·· 21 天前AI 评分35
Raincheck: 延迟多模态预填充提升多轮 MLLM 推理效率
Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference
AI 导读
Raincheck 提出延迟多模态预填充框架,在生成期间利用空闲算力预填充被剪枝 token,解决长多模态输入导致的 TTFT 增加问题。该框架结合注意力可见性控制与仿射状态映射,使 Qwen3-VL-8B 和 Qwen3.5-9B 在多轮对话中恢复平均 77.7% 的 MultiVerse 任务质量,且首轮 TTFT 降低 24.1%。
来源:arXiv · NLP · arxiv.org