arXiv · NLP· Youbing Yin, Jingyu Wu, Anoop Kumar, Scott Novotney, Daben Liu, Erin Babinsky·2026-10-20 12:00· 6 小时前AI 评分32

LLM-as-a-Judge 如何通过提示策略实现自我去偏

The Judge Can Debias Itself: Awareness and Self-Debiasing for Reliable LLM-as-a-Judge

AI 导读

LLM-as-a-Judge 无需额外训练即可通过提示策略自我去偏，有效抑制评估偏差。在 3 个前沿模型、7 类偏差组合中，自我去偏策略在 21 组中的 20 组提升表现，最高达 15 个百分点。引入 3 个新基准发现，近期微调的外部批判者在新偏差类型上泛化不可靠，该提示方法更具鲁棒性与通用性。

来源：arXiv · NLP · arxiv.org