arXiv · NLP· Vansh Bhatia, Mehdi Rezagholizadeh, Parsa Ashrafi Fashi, Igor Gilitschenski, Vikram Appia, Emad Barsoum·· 5 小时前AI 评分42
PRISM-BENCH：诊断超越最终答案准确性的基于证据的多模态推理
PRISM-BENCH: Diagnosing Grounded and Faithful Multimodal Reasoning Beyond Final-Answer Accuracy
AI 导读
PRISM-BENCH 包含 1000 个由专家策划的问题，用于诊断视觉语言模型推理的 groundedness 与 faithfulness。在 25 个系统测试中，感知探针显示约 85% 的失败源于感知错误，trace alignment 预测答案准确性的 macro AUROC 达 0.66。
来源：arXiv · NLP · arxiv.org