跳到正文
arXiv · NLP· Matteo Gabburo, Daniela Baiamonte, Stefano Simonazzi, Silvia Gardini, Sean Cesare Lazzeri, Andrea Zugarini·· 7 天前AI 评分27

MDU:首个涵盖13项任务、5种语言的多语言文档理解评测基准

Benchmarking Multilingual Document Understanding in Vision-Language Models

AI 导读

summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。

来源:arXiv · NLP · arxiv.org