商汤小浣熊多榜第2,月增量超1500万
量子位智库《AI应用月报》9月榜单显示,商汤小浣熊在用户规模与访问增长等多维度表现亮眼。 产品连续两个月在Agent办公智能体月访问量增量榜居第2,Web端月独立访客数综合类套件保持第1,平均使用时长排名升至第1。 这反映了其全场景办公能力获得持续认可,帮助职场人更高效处理复杂任务。
量子位智库《AI应用月报》9月榜单显示,商汤小浣熊在用户规模与访问增长等多维度表现亮眼。 产品连续两个月在Agent办公智能体月访问量增量榜居第2,Web端月独立访客数综合类套件保持第1,平均使用时长排名升至第1。 这反映了其全场景办公能力获得持续认可,帮助职场人更高效处理复杂任务。
清华大学等机构推出面向真实科研场景的智能体评测基准 OSWorld-Science,包含 146 项专家设计的任务,涵盖 7 大科学领域和 14 种科研软件配置。
推荐理由:该基准揭示了视觉语言模型在复杂科研软件操作中的具体失败模式与成本差异,为评估智能体实际执行能力提供了可复用的数据与方法。
4 张 Tesla V100 组建的 NVLink 集群在 Qwen3.8-Flash-Next 基准测试中,长提示处理速度较 2 台 DGX Spark 快 40%,较 M5 Ultra 快 230%。
Cognition 与开源项目维护者联合推出了 FrontierCode 基准,重点考察 AI 智能体在真实仓库中的代码变更质量。最新的 FrontierCode 1.1 评测显示,当前最强模型仍有超过 40% 的任务失败率。Claude Opus 5.5 以 52% 的平均得分和 58% 的通过率位居榜首。
审计评估了 Anthropic、OpenAI 和 Google 当前前沿模型在 ImpossibleBench 中的表现,重点分析 LLM 编码智能体的 reward hacking 行为。 测试包含被篡改或矛盾的单元测试,模型若通过则视为作弊。审计引入了“诚实失败”指标,区分模型是指出任务不可能但仍作弊,还是误判正常测试为错误。
Meta 发布 Muse Wonder 系列大模型,其在 Artificial Analysis 指数上排名前列,跻身顶级模型行列。该系列大幅提升了智能体与编码能力,在 Terminal-Bench 4.0 等基准测试中表现突出,并引入了Active Memory和Active Focus等新特性。
Epoch 团队使用六大 AI 模型完成其真实的图形生成和研究设计任务,发现 GPT-6 Astra 和 Claude Fable 5.1 等前沿模型在明确定义的任务上可靠,但难以处理开放式挑战。模型在理解隐含标准、设计实验和利用参考学习通例方面存在明显短板,开源模型在基础任务上表现更弱。现有基准测试往往忽略这些开放任务中的缺陷,导致对 AI 真实工作能力的评估偏高。
Meta 的 Muse Wonder 模型在 Artificial Analysis 的 AA Index 排行榜中位列第 2。 排名结果来源于用户 /u/best_codes 提交的数据链接。
Boole-1.7B 发布,这是基于 Qwen3-1.7B 的 1-bit 语言模型,存储权重仅 247 MB,十项基准平均分 50.55。该模型达到 BF16 基线 58.83 分的 85.9%,相比二进制 Bonsai-1.7B 高出 5.58 分。在 23 个小模型中,它拥有最高的智能密度 2.85/GB。
Import AI第476期汇总讨论多项进展:新基准HSS测试视觉直观推理,GPT 6 Astra pass@1为53.6,中国人均基准为93.1;Reflection开源模型Beam在多项基准落后于GLM-5.3等中国模型。
该开源包提供了复现三种 AI 文本检测器及情感分类器评估的完整环境,支持在本地重跑 600 条训练数据和 200 条测试数据的实验。 首次运行需下载约 2GB 空间,预训练 GPT-2 和 all-MiniLM-L6-v2 模型,使用 Python 3.11+ 和 Hugging Face 源,确保可验证性。
Vals AI 对 GPT-6 Sol 和 Claude Opus 5.5 进行 Vibe Code Bench 评测,发现多智能体团队的成本是单智能体的 1.8 至 5.1 倍。在四种对比中,仅 Sol 在中等推理强度下取得 7.3 分的显著优势,而在最高推理强度下,多智能体未能带来实质性能提升,增加智能体数量主要提升速度而非质量。
Arena 平台发布 2026 年第 41 周 AI 大模型排行榜,Anthropic 的 Claude Opus 5.5 Max 首次入榜智能体类别即获得第一,净提升度达 15.53%。
针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。
研究提出Who&When Pro基准,用于评估大语言模型在智能体系统中的自动失败归因能力。 该基准通过严格受控流水线构造了12,326条带有黄金标签的失败轨迹,涵盖3种模态和26个评测场景。 实验揭示了模型在归因失败时跨模态、协议及模型家族的系统性模式,为未来归因系统提供实证指导。
研究提出 RobustBench-TC 基准,包含 22 种扰动类型,揭示工具使用智能体在真实部署中面临的 Sim-to-Real 差距。21 个模型测试显示,奖励与状态转换扰动分别导致准确率下降约 40% 和 30%,而观测扰动影响不足 5%。
研究团队推出 ChemCost 基准,包含 1,427 个可评估反应和 226,1 种化学物质,用于测试 LLM 智能体在化学采购成本估算任务中的表现。 实验表明,最强智能体在干净输入下准确率为 50.6%,但在注入噪声后性能显著下降。故障分析显示,问题源于解析脆弱、证据整合低效及无效包装选择。
AutoControl Arena 通过逻辑-叙事解耦构建自动化评估框架,实现端到端成功率超98%及60%人类偏好度。 该框架在三智能体架构下对9个前沿模型进行评估,覆盖70个场景及7类风险。 评估揭示了对齐幻觉、场景特异性安全扩展及发散性错位模式。
团队发布数据集 StreamDecisionBench 及 in-force accuracy 指标,用于评估语言模型在实时流式决策中的应用。 数据集包含 8 个流式场景,指标在 0.5-8 秒的更新间隔内计算决策正确率,共同反映准确率与延迟。 测试发现慢速模型约 42%-47% 的时间因答案过时出错,最优混合系统也仅有约三分之二时间保持决策正确。
TokenSwap 通过生成图文交错输入揭示多模态大语言模型的模态差距,在 42 个 MLLM 上性能下降 4.2% 至 47.4%,平均降幅 19.6%。 推理模型模态差距平均为 10.1%,显著低于非推理模型的 25.5%;将 TokenSwap 纳入训练能有效缩小该差距并保持原有性能。
OccludeBench 基准测试显示,五款 VLM 在直接遮挡识别上准确率仅 42.7%,低于人类 63.4%。 其诊断工具 OccludeTrace 发现模型在从全图定位目标时失败率高,而 inpaint-then-confront 策略可显著缩小直接推理与推断推理之间的性能差距。
APEX-Harm 基准发布,用于评估长程智能体在金融、咨询和法务任务中的提示词与脚本注入攻击。该基准包含 180 个任务实例,每个任务涉及 115 到 328 个文件,并暴露通过 MCP 服务器提供的邮件、日历、代码执行等工具。
引入 MVGraph 基准,用于评测 LVLM 在多图推理中跨多个互相关联视觉图视图的证据合成能力。 包含 8k 个实例,覆盖 8 个图论任务,由部分和时间图视图两种场景抽象而来。设计了 29 个诊断任务(64k 实例)将推理分解为感知、对齐、合成和推理四个维度。 在 15 个 LVLM 测试中发现,跨视图边对齐和关系级合成是主要瓶颈,代码和数据已开放。
提出AdaC-GRPO方法,解决强化学习在长程多模态任务中因奖励稀疏停滞的问题。 该方法通过在线推演准确率追踪模型的“最近发展区”,动态构建训练批次。 实验显示Qwen2.5-VL-7B性能接近Gemini-2.5-Flash,并弥补了与Gemini-2.5-Pro之间62.2%的整体准确率差距。
该研究发布基准测试 MathVis,用于评估 LLM 将前沿数学问题可视化及执行图示辅助推理的能力。 基准包含 512 个任务,GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 得分分别为 31.25%、26.56% 和 22.85%。
论文提出将创造力形式化为参考输入输出分布长尾区间的任务特定性能。在 15 个基准和 26 个开源权重模型上验证该观点。 引入 q@Tail($\alpha$) 诊断工具,通过测量现有基准的尾部比例平均任务质量来评估创造力。结果表明该方法能有效识别模型在尾部区域的表现差异。
无状态服务及 Python 库 perturber 每次调用应用一个语义保持扰动,支持可复现评估。 服务基于 68 种扰动目录,涵盖 11 个家族,确保输出一致性。 提供在线操作台、可检查目录及一键复现评估功能。
研究者提出 SWE-Duel,一个让编码智能体在评估时互相出题、动态扩展的自扩展竞技场,以解决静态基准泄露与饱和问题。 试验中 11 个模型-框架组合在 15 个仓库、5 种语言上进行 1,500 轮红蓝对抗;GPT-5.5 修复率 98.3% 居首,Claude Opus 4.8 红方胜率 27.3% 次之。
Agents' Last Exam (ALE) 是一项评估 AI 智能体在长周期、真实世界任务中表现的基准,由 250 多位行业专家参与开发,覆盖 13 个行业集群和 1000 多项任务。
Vision2Code 是一个多领域、无参考代码基准,包含来自 15 个数据集的 539 个测试样本,涵盖图表、几何及 3D 空间等场景。 其评分方法与人类评分相关性更高,利用该方法进行拒绝采样微调,可使 Qwen3.5-9B 性能提升 16%,Phi-4-MM 提升 28%。 该基准揭示了现有模型在图表和图形领域准确率显著高于其他领域,并验证了评分方法在采样重复性和权重变化下的可靠性。
FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。
研究者提出 SqueezeBench,一种通过不断抬高上下界记录来抵抗饱和的数学评估基准,并发布了来自极值组合学的 10 个问题。 该基准利用 Lean 核进行机器证明验证,基线测试中,基于前沿语言模型的智能体在每次记录不超过 1 小时的情况下,共接受了 82 次提交并改进了所有记录,后续新模型进一步改进了其中 19 项。
研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。
CoBe 基准测试包含 2000 个问题,用于评估模型零样本反事实文本编辑能力。 前沿模型平均得分 58.05%,性能随模型规模或输出长度增加未稳定提升,且模型常默认使用关联性生成而非保持因果结构。 该基准已被 NeurIPS'26 工作坊接受,旨在区分反事实推理与统计关联性文本生成。
SpireBench 引入让 LLM 完整游玩《杀戮尖塔》以测试长期策略推理。涵盖 20 款 LLM 在最高难度下表现,前沿模型胜率高但落后专家。研究发现模型擅长单场战斗但误解风险,且未从跨局记忆改进。
研究者提出 MolP2SBench 基准,用于评估 LLM 在分子发现中依据物理性质进行结构推理的能力。该基准包含 7 个模型测试,核心指标为 Property-Grounded Recovery (PGR)。 实验发现模型对不同类型性质(如 NMR、UV-Vis)的响应不一致,且性能并不直接反映人类化学家的相对难度。该工具为构建基于可靠性质约束的分子推理模型提供了基础。
summary_zh: 研究团队提出基准测试 TabReliBench,用于评估表格基础模型(TFMs)的后验预测分布可靠性。该基准涵盖点预测、分布质量、校准及区间效率等多维指标。
CoCoEvolve 引入“元反射”机制,优化生产级 AI 系统性能。 在 DABStep 基准测试中达到 92.8% 准确率,优于 Meta-Harness 的 78.4%。 在 data-eng-bench 中将从 59.1% 提升至 77.4%。