arXiv · NLP· Emmanouil Zaranis, Ant\'onio Farinhas, Saul Santos, Beatriz Canaverde, Miguel Moura Ramos, Aditya K Surikuchi, Andr\'e Viveiros, Baohao Liao, Elena Bueno-Benito, Nithin Sivakumaran, Pavlo Vasylenko, Shoubin Yu, Sonal Sannigrahi, Wafaa Mohammed, Ben Peters, Danae S\'anchez Villegas, Elias Stengel-Eskin, Giuseppe Attanasio, Jaehong Yoon, Stella Frank, Alessandro Suglia, Chrysoula Zerva, Desmond Elliott, Mariella Dimiccoli, Mohit Bansal, Oswald Lanz, Raffaella Bernardi, Raquel Fern\'andez, Sandro Pezzelle, Vlad Niculae, Andr\'e F. T. Martins·· 6 小时前AI 评分35
视觉语言模型如何理解电影？
How Well Do Vision-Language Models Understand Movies?
AI 导读
研究者发布MF^2基准，评估视觉语言模型对电影叙事结构的理解能力。 该基准包含50多部电影及850余个人工构建的“事实/谬误”断言对，覆盖20个开源和2个专有模型。 结果显示，当视觉信息分散在全片时模型表现较差，但聚焦于断言相关视觉内容时性能显著提升，揭示了多模态长上下文处理的挑战。
来源：arXiv · NLP · arxiv.org