arXiv · NLP· Nahyun Lee, Guijin Son, Hyunwoo Ko, Chanyoung Kim, JunYoung An, Kyubeen Han, Il-Youp Kwak·· 2026-10-14AI 评分26
KMMMU:韩语多学科多模态理解评估基准
KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context
AI 导读
研究团队推出韩语原生基准KMMMU,包含3,466道题目,覆盖9个学科和9种视觉模态。 基准提供KMMMU-Adv和KMMMU-Local子集,针对高难度和韩语特有知识进行评估。 实验显示最强开源模型在KMMMU得分42.05%,顶级专有模型在KMMMU-Adv得分52.42%。 该基准为超越英语中心或翻译式评估的韩语专家级多模态理解提供测试平台。
来源:arXiv · NLP · arxiv.org