arXiv · AI· Yuanshan Chua, Xuejiao Zhao·· 3 天前AI 评分37
GEM-MM:通过熵引导偏好对齐减少 VLM 幻觉
GEM-MM: Reducing VLM Hallucination with Entropy-Guided Preference Alignment
AI 导读
GEM-MM 通过熵引导偏好对齐减少视觉语言模型(VLM)幻觉,基于 Qwen3-VL-4B-Instruct 在 3000 个提示预算下取得最佳熵深度偏好分数 61.7%。 方法采用组归一化策略梯度,奖励高熵推理分叉并惩罚不确定答案,将 AMBER 幻觉率从 23.4-24.0 降至 20.6。 代码与评估框架已开源,统计显著性检验 p 值小于 0.001,确认了主要消融实验结果。
来源:arXiv · AI · arxiv.org