arXiv · ML· Hyuk Kwon, Jaebyeong Jeon, Hyeonseo Jang, Kibok Lee·· 24 天前AI 评分21
重新思考仅语言视觉语言模型选择:好排名为何导致差选择
Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection
AI 导读
仅语言视觉语言模型选择(LOVM)中,现有排名指标无法直接评估所选模型性能。 文章提出免训练的TC-ESR方法,基于源任务最低相似度加权平均遗憾进行选择。在22个目标任务和43个VLM上,TC-ESR取得了最低的简单遗憾和离群鲁棒归一化遗憾。 该方法修正了现有评估协议中的目标性能泄漏问题。
来源:arXiv · ML · arxiv.org