跳到正文
Hugging Face Blog·· 2025-08-01AI 评分30

3LM:面向阿拉伯语大模型 STEM 与代码生成的基准评测

📚 3LM: A Benchmark for Arabic LLMs in STEM and Code

AI 导读

Hugging Face 发布首个针对阿拉伯语大模型在 STEM 和代码生成领域的多组件基准 3LM。该基准包含 865 道本土 STEM 题、1744 道合成 STEM 题及汉化的 HumanEval+ 与 MBPP+ 代码数据集。评测 40 多个模型,GPT-4o 在代码任务中表现最佳,Qwen2.5-72B-Instruct 在 STEM 多选题中领先。

来源:Hugging Face Blog · huggingface.co