arXiv · AI· Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo·· 7 天前精选AI 评分61
API 基准分数无法可靠迁移至聊天机器人界面
API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
AI 导读
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现，发现 API 评估的平均准确率比界面评估高 3.4 个百分点，且重测一致性高 2.1 个百分点。
推荐理由
研究指出API评测得分平均高于界面实测3.4个百分点，提醒读者基准分数未必反映实际部署表现。
来源：arXiv · AI · arxiv.org