Hugging Face Blog·· 2025-08-01AI 评分30
3LM:面向阿拉伯语大模型 STEM 与代码生成的基准评测
📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
AI 导读
Hugging Face 发布首个针对阿拉伯语大模型在 STEM 和代码生成领域的多组件基准 3LM。该基准包含 865 道本土 STEM 题、1744 道合成 STEM 题及汉化的 HumanEval+ 与 MBPP+ 代码数据集。评测 40 多个模型,GPT-4o 在代码任务中表现最佳,Qwen2.5-72B-Instruct 在 STEM 多选题中领先。
来源:Hugging Face Blog · huggingface.co