arXiv · AI· Longyuan Zhu, Hairan Hua, Linlin Miao, Wei Wang, Bing Zhao·· 17 天前AI 评分23
Benchmark Health Index:评估 LLM 基准可靠性的系统性框架
Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs
AI 导读
研究者提出 Benchmark Health Index(BHI),一个纯数据驱动框架,用于审计大语言模型基准的可靠性。 该框架从能力区分度、抗饱和度和影响力三个维度评估基准,并基于 2025 年 91 个代表性模型的技术报告,系统梳理了 106 个已验证基准。 BHI 提供了宏观量化基准健康状况的依据,支持基准选择与动态生命周期管理。
来源:arXiv · AI · arxiv.org