LLM评判鲁棒性研究显示提示策略效果依赖模型

Asal Mehrabi等人在arXiv发表研究，提出包含9种提示策略与4个开放权重评判模型的交互评估基准。该基准覆盖27种语言、4项任务及13个数据集，生成逾130万份基于金标准输出的评分，并经人类判断验证。分析显示，提示策略效果不可跨模型迁移，且在不同评判模型间出现方向反转。研究还发现低资源语言中稳定性下降，相关影响常被聚合报告掩盖。结果证实提示效果受评判模型、任务及语言共同调节，建议对目标评估场景下的策略与配置进行独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。