arXiv · NLP· Jianghao Yin, Lang Yu, Qianxi Yu, Qin Chen, Jie Zhou, Zhikai Lei, Liang He·· 6 小时前AI 评分31
PLANE：用于缓解大型视觉语言模型幻觉的即插即用细粒度视觉专家模块
PLANE: Plug-and-Play Fine-Grained Visual Experts for Hallucination Mitigation in Large Vision-Language Models
AI 导读
研究提出即插即用细粒度视觉专家（PLANE），通过LoRA视觉专家与指令感知门控网络融合图像特征，有效减少大型视觉语言模型幻觉。 PLANE利用对象、属性及关系三方面数据训练三个LoRA专家，并构建GPT4无关的GIFT基准测试。 实验显示PLANE能降低不同模型幻觉，引入极少推理延迟，且优于现有基准。
来源：arXiv · NLP · arxiv.org