arXiv · AI· Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin·· 24 天前AI 评分34
HiMu: 用于长视频问答的分层多模态帧选择框架
HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering
AI 导读
HiMu 是一个免训练的分层多模态帧选择框架,通过单次 LLM 调用将查询分解为逻辑树,在标准 16 帧预算下实现了 SOTA 准确率。该框架利用 CLIP、OCR 等专家信号生成帧满足度曲线,且匹配 4 倍帧预算的均匀采样精度。它作为即插即用模块,在 Video-MME 等基准上显著提升了 7 种 MLLM 的表现。
来源:arXiv · AI · arxiv.org