arXiv · AI· Han Jiang, Susu Zhang, Dongyao Zhu, Yuzhuo Bai, Sang T. Truong, Xiaoyuan Yi, Sanmi Koyejo, Xing Xie, Ziang Xiao·· 12 小时前AI 评分32
AI 评测应要求标准化题目级数据发布：构建 1070 万条响应的 OpenEval 资源库
AI Evaluation Should Require Standardized Item-Level Data Releases
AI 导读
该论文主张标准化题目级基准数据应成为 AI 评测的基础设施。团队构建了 OpenEval，包含 10.7M+ 条模型响应和 160K+ 个题目，为社区提供统一 schema 的资源库。这一规范增强了评测的透明度、可复现性和可审计性。
来源：arXiv · AI · arxiv.org