arXiv · NLP· Jiuzhou Han, Abhishek Bijay Mishra, Trevor Cohn, Shubham Mittal·· 4 小时前AI 评分30
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
AI 导读
DeepSEA 发布，覆盖东南亚 12 种语言，包含数学与科学推理等 5 项任务。 基于专业人工翻译构建，数据显示 Gemini-3.7-Flash 表现稳健，小模型在低资源语言性能严重退化。 揭示模型对英文表征的依赖，有助于下一代包容性多语言模型开发。
来源：arXiv · NLP · arxiv.org