跳到正文
arXiv · ML· Lichen Li, Ziping Dong, Sicheng Feng, Qi Li, Xinchao Wang·· 7 天前AI 评分27

SO-Arena:基准测试 System One 模型的能力谱系与决策可靠性

SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models

AI 导读

研究人员发布 SO-Arena 基准,用于评估 21 个 System One 模型在 11 个领域及 5 种能力家族中的表现。 该基准通过受控选项集变化测试决策稳定性,并考察无有效选项时的识别能力,发现性能最强的模型在可靠性排名中仅列第七。 研究指出整体高分不必然意味着决策可靠,需将能力谱系与可靠性作为互补维度进行系统评估。

来源:arXiv · ML · arxiv.org