Hy4 Flash 在行政文书测试中生成最可靠答案,尽管速度非最快。
测试显示 DeepSeek 响应最快(11s),但添加了简报中不存在的截止日期;Hy4 Flash 虽最慢(29s),但仅基于原文提问。 单次测试结果表明,在减少后续事实核查工作量方面,Hy4 Flash 比单纯追求速度更有价值。
测试显示 DeepSeek 响应最快(11s),但添加了简报中不存在的截止日期;Hy4 Flash 虽最慢(29s),但仅基于原文提问。 单次测试结果表明,在减少后续事实核查工作量方面,Hy4 Flash 比单纯追求速度更有价值。
牛津大学与耶鲁大学团队调查352名机器学习研究者,预测AI将在45年内超越人类所有任务,120年内自动化所有人类工作。 近半数受访者认为语言翻译和写作高中作文等任务将在2024至2026年实现超越,仅5%认为AI会导致人类灭绝。
LLM 排行榜主要基于文本任务,难以准确反映模型处理截图、图表等实际视觉任务的能力。 DeepSeek v4.1 Flash 在 9 月支持原生视觉,腾讯 Hy4 在 11 月跟进,但 Artificial Analysis Intelligence Index 仍以文本为主,无法充分展示这些视觉改进。
作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。
METR 评估显示 Anthropic 模型能力提升速率约为 2024 年 3 月至 2025 年 10 月期间的两倍,且 80% 的加速归因于 AI 贡献。作者认为 AECI 侧重可验证任务可能导致过拟合,使加速不可持续,这比模糊任务泛化更关键地影响 ASI 时间线。 该不确定性意味着可验证指标或高估 AI 研发加速,进而导致对 RSI 和 ASI 到达时间的过度乐观估计。
OpenAI 提供的直接测量数据显示,研究者的时间视野估算显著小于 AI2027 框架中 AECI 的预测。 两者拟合差距约为 2-3 次倍增(对应 2.5-11 个月),且该差距基于 50% 成功率的时间视野。 文章认为直接测量证据比 AECI 预测更可靠,可缓解对近期 RSI 的担忧。
Playcode团队发现,AI实验室正通过膨胀输出token或更换分词器,在不提高每token单价的情况下变相涨价。测试显示,OpenAI的GPT Image 2.6比2.5消耗3.3倍的输出token,而Anthropic的Claude Fable 5.2比5.1消耗3.4倍的token且成本更高,尽管标称价格更低。
Hacker News 讨论 AI 撰写的论文评审是否构成安全风险,并展示 ICLR 2027 部分评分数据。 可解释性研究获得最低分,高分论文包括“Context Language Models”。 作者认为该现象与 OpenAI 最新安全研究发现一致。
文章分析认为,AI 工具在代码编写成本上远低于人类开发者,但 SWE-bench 基准显示其在私有代码库上的表现存在巨大落差,且最新研究证明 AI 并未提升资深开发者效率。目前 AI 适合处理低风险的基础工作,但无法替代开发者的专业判断力。
新模型发布后,业界倾向于用制作浏览器游戏代替传统跑分,以直观验证代码与交互能力。 Claude Opus 5.5等模型能生成数万行代码,实现FPS、RPG及三维城市等可玩原型。 游戏成为新的展示仪式,平衡了技术复杂度与传播的直观性,但仍存在稳定性挑战。
Artificial Analysis 发布的智能指数 v5 因引入“私有测试”受到批评,被指显著拉低开源权重模型在指数中的排名,并抬高 GPT 和 Google 模型的排名。 批评者认为在私有数据集上进行“trust me bro”式私有测试缺乏透明度,使得当前开源权重模型在指数 v5 中排名偏低,此举被认为存在可疑之处。
Commonwealth Bank 引入 AI 语音机器人替换 45 名呼叫中心员工,但数周后便撤销该举措。 Klarna 也经历了类似过程,业务最终回流至更少人员。Gartner 数据显示,自助服务真正解决问题的比例仅为 14%。一项针对 5000 名客服代理的研究进一步揭示了有效替代方案。
Benjamin Todd复盘了他关于AGI时间的预测与2024至2026年的基准实测,发现超级预测者、公众和专家普遍低估了AI的能力进步。他在2025年8月预测AI将在2026年底将FrontierMath准确率做到32%,但实际结果远超预期;他预测2026年底OpenAI和Anthropic年化收入为900亿美元,而实际早在2026年7月就达到了1000亿美元。
Hugging Face 政策主管 Irene Solaiman 指出,当前 AI 模型基准测试缺乏标准化,嵌入式评估员制度也难以成为成熟的解决方案。 她强调评估的可复现性与跨基准比较方法尚不明确,且针对 Agent 系统的评估开发成本高昂,目前行业生态仍处于混乱状态。 若基准测试要继续作为有效工具,行业需建立统一标准以取代现有的非规范做法。
计算机科学家 Moritz Hardt 认为当前 AI 基准测试已“彻底损坏”,并主张将其恢复为科学。 他在书中指出,基准测试是“导致机器学习的错误”,尽管存在缺陷,却“靠运气”推动了领域进步。
2026 年 10 月 15 日,Reddit 用户 WarningRegular 发布了 210 项人类能力与最佳 AI 系统的对照分析,显示 AI 已超越 45 项顶尖人类能力。AI 在 149 项能力上高于普通成年人,在 87 项能力上高于顶尖 1% 人群,但最弱项是味觉和机器人自修复,落后 3.5 个标准差。
Google 工程师 Haydn Belfield 指出,自我改进型 AI 进展有限,DeepMind 尚未发现由 AI 驱动的 AI 研究加速。目前 AI 已编写超过 75% 的生产代码,但约 88% 的代码变更仍依赖人工审查。在内部基准 RE-Bench 上,Argon 解决了约半数任务,显著优于 Gemini 3.7 Flash 的 27%,但距离全自动化所需表现仍有差距。
基准测试高分并不代表日常使用顺畅,它们未捕捉到请求澄清、上下文记忆、处理杂乱输入及承认错误等真实体验。 尽管基准测试在比较模型进步方面仍有价值,但用户更关注系统完成任务时是否造成新问题等实际交互细节。
GPT-3.5 Turbo Instruct 在与 GPT-5.6 Sol 和 Claude Opus 5 的四局象棋对弈中全胜,保持十战十绩。 前沿模型主要因遗忘棋子位置而走出非法步,GPT-3.5 凭借完整的 PGN 格式记录成功继续生成合法走法。 OpenAI 将于明日关停该模型访问权限,作者借此复盘其未败原因及前沿模型在特定格式下的局限。
Opus 5.5 和 Sonnet 5.5 发布后,社交媒体涌现大量利用其制作 MV、3D 游戏和交互式网页的案例。原文分析了这些爆款 Demo 背后的制作流程、成本与时间,指出模型能力正从辅助单一步骤延伸至贯穿整个创作链条,且直观 Demo 已成为新的非官方评测基准。