跳到正文
arXiv · AI· Allison Chen, William Yang, Salma Abdel Magid, Jonathan Williams, Olga Russakovsky, Esin Tureci·· 4 小时前AI 评分20

视觉-语言模型中用于幻觉检测的内部信号鲁棒性分析

Robustness of Internal Signals for Hallucination Detection in Vision-Language Models

AI 导读

研究发现视觉-语言模型(VLM)内部信号用于幻觉检测时存在显著局限,简单基线(生成词的 token 位置)已具竞争力性能。 部分检测方法及集成策略对语言模态敏感且视觉接地能力弱,早期幻觉出现时鲁棒性降低;不同方法的互补性可提升集成性能。 当前依赖内部信号的方法在实际应用中面临稳定性挑战,影响安全关键场景的可靠性。

来源:arXiv · AI · arxiv.org