跳到正文
arXiv · AI· Longyuan Zhu, Hairan Hua, Linlin Miao, Wei Wang, Bing Zhao·· 17 天前AI 评分23

Benchmark Health Index:评估 LLM 基准可靠性的系统性框架

Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs

AI 导读

研究者提出 Benchmark Health Index(BHI),一个纯数据驱动框架,用于审计大语言模型基准的可靠性。 该框架从能力区分度、抗饱和度和影响力三个维度评估基准,并基于 2025 年 91 个代表性模型的技术报告,系统梳理了 106 个已验证基准。 BHI 提供了宏观量化基准健康状况的依据,支持基准选择与动态生命周期管理。

来源:arXiv · AI · arxiv.org