跳到正文
arXiv · ML· Tianxi Li, Jie Ding·· 2026-10-07AI 评分28

基于 AI 评判者的可信方法比较:序、批次与聚合效应下的估计与设计

Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects

AI 导读

大语言模型(LLMs)作为评判者时,随机化提示并平均得分的做法统计有效性尚不明确。 文章提出用一阶马尔可夫广义线性混合模型(GLMM)近似 LLM 评估机制,通过三大商业 LLM 的样本外预测验证了该模型。 在领导者排行榜中,随机化-平均选择在温和分离条件下具有一致性;在组比较中,由于响应模型非线性,简单平均可能得出不一致的结论。

来源:arXiv · ML · arxiv.org