跳到正文
arXiv · AI· Qi Cao, Kangning Liu, Xuan Kan, Shunwen Tan, Yang Pei, Dake Chen, Yatai Ji, Zixuan Ye, Yuanpeng Tu, Daniel Li, Junbiao Tang, Pengtao Xie, Zihao He·· 2026-10-07AI 评分42

JudgeProfile:解析并引导 LLM 评委在感知与优先级中的主观性

JudgeProfile: Understanding and Steering Subjectivity in LLM Judges

AI 导读

JudgeProfile 框架将 LLM 评估拆解为感知和优先级两个维度,通过重新加权将参考标签的平均留出集一致性从 66.48% 提升至 71.97%。 该框架在包含 50,013 个响应对的数据集上评测 21 个 LLM 评委,结果显示其性能优于微调及评分标准提示,证实引导主观性需同时关注感知内容与优先级策略。

来源:arXiv · AI · arxiv.org