跳到正文
arXiv · NLP· Zheyuan Yang, Liqiang Shang, Junjie Chen, Xun Yang, Chenglong Xu, Bo Yuan, Chenyuan Jiao, Yaoru Sun, Yilun Zhao·· 2 天前AI 评分22

TableVista:评估复杂视觉与结构下多模态表格推理的基准测试

TableVista: Benchmarking Multimodal Table Reasoning under Visual and Structural Complexity

AI 导读

研究团队推出包含 30,000 个样本的多模态表格推理基准 TableVista,并对 29 个基础模型进行评估。 该基准将 3,000 个推理问题扩展为 10 种视觉变体,覆盖多样化场景风格、鲁棒性扰动及纯视觉配置。 评估发现当前模型在复杂结构布局及纯视觉设置下性能显著下降,揭示了其推理一致性存在的缺陷。

来源:arXiv · NLP · arxiv.org