arXiv · AI· Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo·· 4 小时前AI 评分30
DecisionPivot：用于LLM系统中决策模型的诊断基准
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
AI 导读
研究者推出包含48项任务、40,033个条目的DecisionPivot诊断基准，用于评估LLM系统决策模型在受控变化下的可靠性。 基准涵盖13个生成任务家族的7,800个核心条目及32,233个参考条目，在2,400个二元对比对中，Perplexity Decider正确排序率达92.3%但仅74.1%能同时答对两者。
来源：arXiv · AI · arxiv.org