跳到正文
arXiv · NLP· Hossam Elsafty, Tobias Deu{\ss}er, Lorenz Sparrenberg, Rajkumar Ramamurthy, Rafet Sifa·· 10 天前AI 评分23

评估 Jev 在阿拉伯语上的表现:对比决策模型与 LLM 在阿拉伯语任务和方言间的表现

Evaluating Jev on Arabic: Comparing Decision Models and LLMs Across Arabic Tasks and Dialects

AI 导读

Jev 1.14.0 在 67 个系统和 43 项任务上的平均主要指标为 69.24,低于 Gemma-4-31B 的 71.81。Jev 1.14.0 相对于 1.13.0 的提升幅度因任务族而异。 内容匹配对比显示,Jev 1.14.0 的方言减 MSA 准确率差距在四个数据集中范围为 -7.94 至 -0.35 个百分点。

来源:arXiv · NLP · arxiv.org