跳到正文
arXiv · NLP· Wei Liu, Yi Fan, Xiyan Fu·· 7 天前AI 评分25

Jev 作为多语言评估裁判的表现评估

Is Jev a Good Multilingual Judge?

AI 导读

研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。

来源:arXiv · NLP · arxiv.org