arXiv · AI· Daeun Lee, Subhojyoti Mukherjee, Branislav Kveton, Ryan A. Rossi, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Mohit Bansal·· 14 天前AI 评分27
StreamGaze:面向流式视频的眼动引导时序推理与主动理解基准
StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos
AI 导读
研究团队提出首个流式视频眼动引导基准 StreamGaze,用于评估多模态大语言模型在时序与主动推理中对人类视线信号的利用能力。 该基准包含过去、现在和主动三类任务,并配套构建了结合凝视轨迹生成时空对齐问答数据的处理流水线。 实验显示当前多模态大语言模型性能与人类存在显著差距,暴露出视线时序推理与意图建模的局限,相关数据与代码已公开。
来源:arXiv · AI · arxiv.org