arXiv · NLP· Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma·· 5 小时前AI 评分30
ShredBench：评估多模态大语言模型在文档重构中的语义推理能力
ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
AI 导读
研究者提出 ShredBench 基准，通过 Markdown 自动管线生成碎片化文档，以测试多模态大语言模型在视觉丰富文档理解中的语义推理能力。 该基准覆盖英语、中文、代码、表格四种场景，包含 8、12、16 碎片三种细粒度。对最先进模型的评测显示，文档碎片化后 NED 指标急剧下降。 研究发现当前模型缺乏跨模态细粒度推理能力，无法有效桥接视觉不连续性。
来源：arXiv · NLP · arxiv.org