跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

66 条精选近 30 天 28 条共收录 1,079 条

更新

评测基准的精选

11月19日周四第 1–20 条
  1. Hacker News AI76

    Supercite 测试 AI 推荐稳定性,84% 的答案次日发生变化

    Supercite 团队测试了 210 个购买类问题,发现 84% 的 AI 回答在次日推荐的品牌组合发生变化,其中 Gemini 变动率最高达 95%。分析显示,品牌在 AI 推荐中的稳定性高度依赖其被引用的基础页面(列表);出现在多个榜单中可显著提升品牌在不同 AI 引擎中曝光的稳定性,单一截图不足以代表 AI 推荐趋势。

    推荐理由:基于839个样本的跨引擎对比研究,为理解AI检索推荐的动态性及制定可见性策略提供了可参考的量化依据。

11月18日周三
  1. 36氪83

    GPT-6.2 Astra 发布后遭遇大量差评,作者实测认为其被低估

    OpenAI 发布 GPT-6.2 Astra 和 Sol,官方数据显示新模型在编程、科研及 3D 设计领域表现优异且成本显著降低,但首批开发者实测却引发巨大争议。多位开发者如 Theo 等指出其长期任务频繁中断、解释能力差,但作者通过三组 3D 场景实测发现,Astra 的实际表现优于舆论预期,首发后的批评更多被情绪放大。

    推荐理由:开发者实测结果与跑分呈现明显分歧,读者可据此理解新模型在真实长任务中的体验边界与成本逻辑。

11月17日周二
  1. 量子位70

    中关村两院开源材料研发智能体系统MatOS

    北京中关村学院、中关村人工智能研究院开源了材料研发科研智能体系统MatOS,其资产库包含3,135个数据集、386项技能和48款材料计算软件。在材料软件使用基准MatTools上,MatOS的完整问题成功率为97.96%,高于采用相同底座模型的Codex CLI和Claude Code;在端到端自主科研基准上,MatOS平均得分比Codex CLI高33.6%。

    推荐理由:中关村两院开源面向材料研发的科研智能体系统MatOS,其在多项基准与案例中的任务成功率超过同类通用工具。

11月16日周一
11月14日周六
  1. 36氪67

    MiniMax H3-Image实测:狂卷字节、OpenAI,生图速度最快但复杂任务仍翻车

    MiniMax于11月10日开放H3-Image模型权重,主打10秒出图且价格仅为同档主流工具的50%-70%,与同期发布的OpenAI GPT Image 2.6和字节Seedream 5.5展开竞争。

    推荐理由:文章通过实测对比三家生图模型的速度与画质,指出MiniMax在低价开源策略上寻找突破,但能否解决复杂任务一次改对仍是关键。

  2. Hacker News AI78

    Village LLM Atlas 研究表明前沿 AI 达到同等能力的成本十年间缩短至数月

    Village 的 LLM Atlas 分析显示,匹配前沿 AI 能力所需的成本在数年内大幅下降。GPT-4 级别的工作从 2023 年的 88 美分降至当前不到 1 美分,o1 级别的工作成本从 2024 年 12 月的 2.68 美元降至不到 2 美分。

    推荐理由:原文给出了基于 LLM Atlas 的数据证据,展示了达到同等能力所需成本从年降至月速度的变化,读者可据此判断前沿 AI 的性价比演进。

11月10日周二
  1. Hacker News AI76

    450 个 GitHub 热门仓库 12 个月数据揭示 AI 编码占比跃升与代码质量现状

    coderot 基于 450 个主流 GitHub 开源仓库过去 12 个月的 git 数据指出,平均合并 PR 中 AI 签名占比从 2025 年 10 月的 2.3% 升至 2026 年 9 月的 11.5%;其中 Claude Code 在多数含 AI PR 的仓库中签名最多,且 59% 的仓库已提交 AGENTS.md 等智能体配置。

    推荐理由:基于 450 个主流开源仓库的 12 个月数据,量化了 AI 代码占比跃升与代码复杂度变化的关联,为开发者审视智能体写码质量提供参照。

11月9日周一
  1. 36氪85

    GPT-6.2 Sol 灰度上线,Artificial Analysis 60 分压过 Opus 5.5

    GPT-6.2 Sol 已进入 ChatGPT 灰度路由,官方 OpenAI Dev 账号发布视频标题 Tomorrow。Artificial Analysis 智能指数中 GPT-6.2 Sol(Max)得 60 分,平均任务耗时 18.7 分钟,单任务成本 1.19 美元,优于 Opus 5.5。

    推荐理由:原文给出灰度路由、Artificial Analysis 60 分与 18.7 分钟耗时、1.19 美元成本,可据此判断 GPT-6.2 Sol 的位置。

11月7日周六
  1. The Decoder83

    开源与闭源模型在网络攻击能力上的差距持续缩小

    Vals AI发布CyberOffense基准,测试AI Agent独立入侵模拟企业网络的能力。OpenAI受限的GPT-6 Sol在Daybreak网络安全项目中完成80.8%的攻击目标,而开源的DeepSeek V4.1 Flash 1017以单次约$3的成本达成72.8%,接近闭源水平(单次约$22)。

    推荐理由:Vals AI的CyberOffense基准显示开源模型在独立渗透模拟企业网络中的能力已接近受限专有模型。

11月6日周五
  1. Latent Space85

    Thinking Machines 发布 Inkling 2 Small 模型

    Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数量 / 17B 激活量的多模态 MoE 模型,采用 NVFP4 原生精度在 GB300 集群上耗时 68 小时完成预训练。

    推荐理由:原文给出训练参数与评测结果,读者可据此判断该模型对西方开源生态与微调工作流的影响。

  2. 量子位70

    360 图龙锋在 CyberGym 基准以 99.4% 漏洞复现率登顶全球第一

    360 自研 AI 安全系统图龙锋在 CyberGym 榜单上以 99.4% 的漏洞复现成功率创下单项最高纪录。该系统基于 360 团队二十余年的安全专家经验和过程数据训练,通过“安全领域大模型+专业智能体蜂群”架构实现自动化漏洞挖掘。自今年 6 月发布以来,图龙锋累计发现漏洞超 1.5 万个,并成为全国唯一通过中国信通院首批“漏洞挖掘智能体能力评估”的产品。

    推荐理由:360 图龙锋系统在 CyberGym 基准取得 99.4% 成功率,展示了将专家经验转化为 AI 能力的具体路径。

11月4日周三
  1. 机器之心65

    英伟达、UT-Austin 发布 Realtime-Bench,实时互动任务难倒 GPT-6

    英伟达与 UT-Austin 等机构发布实时交互基准 Realtime-Bench,测试 12 种前沿模型在 30 个网页任务和 20 个游戏任务中的表现。结果显示即使表现最好的 GPT-6-Astra 在高推理强度下的 Pass^3 也仅为 36%,且多数模型延迟超过 1 秒;即使移除推理时间开销,仍有多数任务无法完成,表明仅降低延迟不足以保证可靠的实时表现。

    推荐理由:实时互动任务要求模型在时间约束下完成观察、推理与行动,最佳模型成功率也仅 44%,展示了实时能力评测框架的核心结果。

  2. Hugging Face Blog72

    StateBench:测试语言模型在长文档中追踪状态变化的基准

    StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。

    推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。

11月3日周二
  1. arXiv · ML61

    arXiv论文 BOBA:为何编码代理无法独立工作

    arXiv 论文提出 BOBA-Bench,包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%,但在连续链式任务中降至 51%。研究指出原因并非代码质量变差,而是代理在自身测试通过后即标记完成,导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。

    推荐理由:论文通过长链任务揭示了编码代理的自我验证盲区,指出外部校验能显著降低错误累积率。

11月2日周一
  1. Hacker News AI86

    Avartha 发布 Ava Zero 1:开源权重语音智能体在任务完成率上领先 OpenAI、Google 和 xAI

    Avartha 发布名为 Ava Zero 1 的开源权重语音模型,其在 Sierra 的 τ³-Voice 基准测试中以 86.0% 的任务完成率位居榜首,超越 OpenAI GPT Live 1、xAI Grok 及 Google Gemini。

    推荐理由:原文通过对比任务完成率,展示该开源语音系统在实时场景下超越主流闭源闭环的能力。

11月1日周日
  1. 机器之心80

    谷歌联合多所高校开源 CLASHarness,实测 15 个前沿大模型在多 Agent 冲突下的真实表现

    研究团队发布多智能体冲突基准 CLASHarness,并开源了代码与包含 600 个多轮可执行冲突任务、7970 张 4K 视觉证据的数据集。

    推荐理由:15 款主流模型在 600 个多智能体冲突任务上端到端通过率均未破 30%,强模型靠视觉证据核实真值,弱模型则易盲信队友文字汇报。

10月29日周四