跳到正文
arXiv · AI· Berke Bunyamin Sule, Yavuz Selim Aygan, Ahmed Zeer, Elif Ince, Ali Mert Temizsoy, Ozgur Agar, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali·· 10 天前AI 评分29

视觉语言模型在土耳其视觉推理中的局限性研究:它们能看见,但能思考吗?

Multimodal Models Can See, But Can They Think? A Study of Turkish Visual Reasoning

AI 导读

视觉语言模型在高级认知任务如抽象逻辑和关系推理中表现不足,其核心缺陷在于无法发现底层规则并维持中间步骤的一致性。 该研究基于包含BİLSEM、MM-IQ、Visual Puzzles和PuzzleVQA的多语言评测框架,评估了不同数据混合策略与监督微调方法。 实验表明,采用LLM-as-a-Judge方法评估发现,微调可能导致模型崩塌,表现为无限文本循环或空输出,而基线模型推理更稳定。

来源:arXiv · AI · arxiv.org