arXiv · NLP· Soovadeep Bakshi, Apurba Bose, Aishwarya Bose, Sandip Nandi·· 2026-10-15AI 评分37
Chatbot Arena 中的 Luce 公理失效:相似模型与赔率断裂
Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena
AI 导读
Chatbot Arena 基于 Bradley-Terry 模型的评分假设 Luce 选择公理,但分析显示该公理在近似模型间失效。 1.8 百万投票数据显示,同模型不同版本间的投票决断性比预测高 1.37 倍,且效果随模型相似度增加。 通过引入 4 至 6 个参数并重点建模平局的修正方法,在保留集上预测优于原有模型,但未显著改变排行榜顺序。
来源:arXiv · NLP · arxiv.org