arXiv · NLP· Ranjith Chodavarapu·· 3 天前AI 评分24
硬负样本微调对多模态大语言模型的影响:基于组合式基准的受控证据
What Does Hard-Negative Fine-Tuning Teach Multimodal Large Language Models? Controlled Evidence from a Compositional Benchmark
AI 导读
针对多模态大语言模型(MLLM),硬负样本微调提升空间关系准确率,但并非源于视觉能力增强。 研究采用CompHall基准及LLaVA-1.5、LLaVA-NeXT、Idefics2三组模型,通过修正损失函数验证:微调在CV-Bench空间关系任务上分别提升+3.2、+23.1、+6.0分。
来源:arXiv · NLP · arxiv.org