跳到正文
Hugging Face Blog·· 2024-02-02AI 评分40

NPHardEval 排行榜:通过复杂度类与动态更新揭示大语言模型的推理能力

NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates

AI 导读

Hugging Face 推出 NPHardEval 排行榜,利用基于计算复杂度的动态框架评估大语言模型的逻辑推理能力。该基准包含 900 道算法题,涵盖 P、NP-complete 及 NP-hard 复杂度类,并每月自动更新以防过拟合。评测采用加权准确率和失败率指标,结果显示闭源模型表现普遍优于开源模型,其中 GPT 4 Turbo 整体表现最佳。

来源:Hugging Face Blog · huggingface.co