arXiv · AI· Swastik Roy, Rajkumar Pujari, Tharindu Kumarage, Charith Peris, Rahul Gupta, Anna Rumshisky, Pradeep Natarajan, Venkatesh Saligrama·· 6 小时前AI 评分22
PReMISE：将评分标准作为LLM评审的度量规范
PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges
AI 导读
PReMISE框架将可复用评分标准视为度量规范，通过发现策略级标准集并在四个维度审计其在LLM评审中的表现。 该框架提出两种修复操作：偏好排名选择将评审准确率从65.0%提升至68.6%；可靠性约束精炼将高评分的剥削性响应比例从46.4%降至36.0%。
来源：arXiv · AI · arxiv.org