跳到正文
Hacker News LLM· viridianassuran·· 2026-10-07AI 评分41

尝试复现 LLM 裁判的位置偏差:证据显示 GPT-5.6 Sol 未表现出系统性偏差

We tried to reproduce LLM judge position bias

AI 导读

一项受控研究尝试复现 LLM 裁判的位置偏差,结果在 20 个提示中,19 次反转顺序后底层获胜者保持不变,未发现系统性或方向性位置偏差。 实验使用 GPT-5.6 Sol 通过 ChatGPT 对两个本地候选模型生成的冻结响应进行成对评判,采用贪心解码和 8-bit 量化,生成上限为 256 tokens。

来源:Hacker News LLM · github.com