跳到正文
arXiv · NLP· Ilija Subasic, Brett Levert, Andrew Rabinovich, Sajjad Pakdamansavoji, Zhao Chen·· 21 天前AI 评分45

Prompt Lottery:LLM 评委对提示词改写敏感度的测量与缓解

Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing

AI 导读

研究揭示 Prompt Lottery 现象,即同义改写的评审提示词会导致 LLM-as-a-Judge 评估结果改变,甚至逆转模型排名。LLM 评委对提示词改写的共识度降幅是人类标注员的 6-9 倍,远低于可用性研究接受的阈值。通过多提示词聚合可显著提升评估鲁棒性。

来源:arXiv · NLP · arxiv.org