arXiv · NLP· Kakei Yamamoto, So Kuroki·· 2026-10-14AI 评分28
PRISM: 基于反事实探针校准黑盒评判模型
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
AI 导读
PRISM 提出一种无评分标准(rubric-free)的协议,利用反事实探针校准大语言模型作为评判者时与人类判断的系统性偏差。该协议通过固定被评估内容,测量属性强调或弱化下的分数变化,并使用岭回归学习修正系数。在 SummEval 摘要和 HANNA 故事评估中,PRISM 显著提升了与人类排序的一致性,其校准效果与基于评分标准的方法具有竞争力。
来源:arXiv · NLP · arxiv.org