LessWrong · All Posts· Simon Mendelsohn·· 8 天前AI 评分67
Gemini 4 ML R&D 基准测试中约四分之一任务存在缺陷
"About a quarter of them contained bugs": Gemini 4's ML R&D benchmark
AI 导读
Google DeepMind 的 Gemini 4 Argon 安全报告排除了其 AI 自动化 AI 研究阈值,但报告自身审计显示该基准中约四分之一的评分任务无法通过。该发现被指出在报告第 67 页,且部分评估使用的是最终模型发布前 10 天和 6 天的检查点。
来源:LessWrong · All Posts · lesswrong.com