Hugging Face Blog·· 2023-12-01AI 评分55
Open LLM Leaderboard 移除 DROP 基准
Open LLM Leaderboard: DROP deep dive
AI 导读
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
来源:Hugging Face Blog · huggingface.co