Hacker News AI· 0o777·· 6 天前AI 评分72
Artificial Analysis 发布端点准确率指数 1.1 版本,显示四分之一第三方 AI 端点性能低于官方基线
1 in 4 3rd Party AI Endpoints Underperform Their Advertised Models
AI 导读
Artificial Analysis 发布端点准确率指数 1.1 版本,对比了 100 多个托管端点与官方权重基线,发现约四分之一端点得分低于参考部署。1.1 版本将长上下文重复测试从 10 次增加到 25 次,平均 95% 置信区间从正负 4.7 点缩小至正负 2.6 点,并将覆盖范围扩展至 DeepSeek V4.1 Flash 1017、GLM-5.3 等六个模型。
来源:Hacker News AI · hermes-ai.net