arXiv · NLP· Jianye Zeng, Qiao Yikang, Duan Huang, Ziying Song·· 3 天前AI 评分29
RAMP:重新思考基于答案读取协议的多模态评估
RAMP: Rethinking Multimodal Evaluation through Answer Readout Protocols
AI 导读
RAMP 提出统一答案读取协议,揭示读取方式显著影响多模态模型评估结果。 在 500 道 POPE 对抗题上,SmolVLM-256M 准确率因读取类型差异波动达 20.2 个百分点,TinyLLaVA-1.1B 为 16.4 个百分点。 该协议提供可复现分析框架,将答案读取确立为多模态评估中可测量的关键组件。
来源:arXiv · NLP · arxiv.org