POPE基准VLM评估Yes/No提取偏差审计

arXiv 新发论文《Token-Set Choice Confounds POPE》指出 POPE 幻觉基准存在系统性偏差：LLaVA-1.5-7B 在对抗组上的 F1 因 Yes/No token 提取(readout)方式不同产生 6.13 点浮动，幅度超过此前六篇论文中五篇报告的改进。 论文说明，使用覆盖带空格表面形式的 8-token 查表读取法时，LLaVA-1.5-7B 在 adversarial、popular、random 三组的 F1 分别为 0.8221、0.8498、0.8713；且此前六篇被比对论文均未注明所用 readout，导致增益是否可保留无法确认。 进一步跨模型审计显示该混淆为协议层而非模型层：将 LLaVA-1.5 的 token ID 直接移植到两个词汇不相交 VLM 上 F1 跌至 0.00，而按 tokenizer 推导 readout 可在 0.80–0.92 区间保持，覆盖来自三个 tokenizer 家族的四个 VLM。

AI 根据报道生成 · 3 小时前更新