跳到正文
Hugging Face Blog·· 2024-03-05AI 评分35

ConTextual 数据集:评估多模态大模型在文本丰富场景中的联合推理能力

Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?

AI 导读

加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。

来源:Hugging Face Blog · huggingface.co