arXiv · ML· Shuqi Liu, Yuzhou Cao, Luke Ong·· 5 小时前AI 评分36
基于查询模态选择的高效全模态大语言模型推理
Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection
AI 导读
针对全模态大语言模型推理成本高昂的问题，研究人员提出查询级模态选择方法，在 WorldSense 基准上验证了该方法在 Qwen2.5-Omni 和 Qwen3-Omni 上均能优化精度与成本的权衡。 具体而言，对于 Qwen2.5-Omni，该成本敏感学习方法在匹配或超越全模态精度的同时，仅需约 41% 的输入 tokens、39% 的延迟和 61% 的货币成本，显著提升了资源效率。
来源：arXiv · ML · arxiv.org