跳到正文
Hugging Face Blog·· 2024-04-16AI 评分33

Hugging Face 推出 LiveCodeBench 排行榜,实现代码 LLM 的无污染全面评估

Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs

AI 导读

Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。

来源:Hugging Face Blog · huggingface.co