arXiv · AI· Yanki Margalit, Nurit Cohen-Inger, Erni Avram, Ran Taig, Seffi Cohen, Oded Margalit·· 4 小时前AI 评分31
Agents-as-Peers：一种用于 LLM 评估的多智能体同侪互评协议
Agents-as-Peers: Bias-Controlled LLM Evaluation as Multi-Agent Peer Assessment
AI 导读
Agents-as-Peers 提出多智能体互评协议，在 12 个 LLM 和 420 道题目中收集 55,440 个非自我互评判断。 实验发现自我评分普遍高于互评分数，且首位答案获得额外 0.39 分优势；互评分数与 TruthfulQA 准确率相关达 r=0.904。 该协议支持将排名与测量出的偏差及评分者效应一同报告。
来源：arXiv · AI · arxiv.org