arXiv · ML· Hashmath Shaik, Gnaneswar Villuri, Alex Doboli·· 2026-10-07AI 评分33
残差流激活可预测 LLM 裁判的立场翻转
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
AI 导读
研究证实,记录在初始裁决前的残差流激活能有效预测 LLM 裁判因候选回答顺序变化而产生的立场翻转,避免了双倍评测成本。 在 JudgeBench 数据集上,针对 Qwen3 和 Llama-3.1-8B 的线性探针 AUROC 达 0.621-0.850,较非激活基线高 0.062-0.113。 该方法无需针对 MT-Bench 重新校准即可实现泛化,证实了预裁决激活在监测模型偏好偏差上的有效性。
来源:arXiv · ML · arxiv.org