跳到正文
arXiv · NLP· Ghazal Kalhor, Behnam Bahrak·· 2026-10-15AI 评分23

MasalBench:评估 LLM 对波斯语谚语的语境与跨文化理解基准

MasalBench: A Benchmark for Contextual and Cross-Cultural Understanding of Persian Proverbs in LLMs

AI 导读

研究提出 MasalBench,用于评估 LLM 对波斯语谚语的语境与跨文化理解。测试 8 个 SOTA LLM,语境识别准确率超 0.90,但识别英语等价谚语时表现显著下降,最佳模型准确率为 0.79。 该基准揭示了当前 LLM 在文化知识、类比推理及低资源语言方面的局限,提供了评估其他低资源语言跨文化理解的框架。

来源:arXiv · NLP · arxiv.org