跳到正文
arXiv · AI· Hansang Lee·· 2 天前AI 评分34

偏好优化视觉语言模型如何导致物体覆盖率下降及恢复方法

Say Less, Hallucinate Less? Diagnosing and Restoring Object Coverage in Preference-Optimized Vision-Language Models

AI 导读

研究发现四个 LLaVA-1.5-7B 偏好优化检查点在降低幻觉率的同时降低了物体覆盖率。 通过基础模型早停可复现 58% 至 86% 的 CHAIRi 收益,且未带来物体 F1 显著增益。 提出的无训练恢复方法使三个检查点召回率接近基础模型,同时保持较低的幻觉率。

来源:arXiv · AI · arxiv.org