跳到正文
arXiv · AI· Jin Seong, Wencke Liermann, Minho Kim, Jong-hun Shin, Soojong Lim·· 2 天前AI 评分28

PINK 指标识别多行手写数学 OCR 中 VLMs 的过度修正

When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR

AI 导读

研究揭示视觉语言模型(VLMs)在多行手写数学 OCR 中存在过度修正失败模式,提出 PINK 指标以 LLM 评分并惩罚此类错误。 对 FERMAT 数据集上 15 个 VLMs 评估显示排名反转,GPT-4o 因激进修正受重罚,Gemini 2.5 Flash 转录最忠实。 PINK 与人类判断一致性达 55.0%,优于 BLEU 的 39.5%,为教育评估提供更可靠框架。

来源:arXiv · AI · arxiv.org