DAR-MGSM 基准测试阿拉伯方言数学推理能力

DAR-MGSM 是首个手动整理的阿拉伯方言多步骤数学推理基准，涵盖五种主要方言及现代标准阿拉伯语。 该基准评估了 11 个阿拉伯语及多语言大模型，结果显示文化本地化版本通常导致性能下降，且不同模型对本地化的敏感度存在差异。 机制可解释性分析表明，即使总准确率相近，本地化也会引发截然不同的内部推理轨迹。