arXiv · NLP· Asal Mehrabi, Mohammad Aliannejadi, Clemencia Siro·· 3 小时前AI 评分20
LLM-as-a-Judge 稳健性研究：提示策略效果依赖评判模型
Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness
AI 导读
基于 9 种提示策略、4 个开权重评判模型及 27 种语言的 130 万份评分分析显示，提示策略效果不可跨模型迁移，且策略效应在不同评判模型间方向反转。 该研究在 13 个数据集上验证了金标准输出，发现低资源语言中稳定性下降，相关影响常被聚合报告掩盖。 结果表明提示效果受评判模型、任务及语言共同调节，建议对目标评估场景下的策略与配置进行独立验证。
来源：arXiv · NLP · arxiv.org