跳到正文
arXiv · NLP· Zahraa Al Sahili, Ioannis Patras, Matthew Purver·· 2026-10-15AI 评分29

通过推理引导翻译扩展多语言安全与推理评测

Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation

AI 导读

提出推理引导翻译框架,用于构建多语言评测。该框架结合任务感知验证与独立质量筛选,生成了覆盖 11 种语言、包含 7 项安全与数学推理资源的评测集。 在需修复的两个子集中,该集合实现了 99.94% 的预期条目 - 语言对覆盖率。评测开源 LLM 显示,低资源语言中存在显著的推理退化。 这种语言依赖性表明,在英语之外理解多语言模型行为需任务敏感的基准构建。

来源:arXiv · NLP · arxiv.org