跳到正文
10月13日周二
  1. 商汤科技SenseTime23

    商汤小浣熊多榜第2,月增量超1500万

    量子位智库《AI应用月报》9月榜单显示,商汤小浣熊在用户规模与访问增长等多维度表现亮眼。 产品连续两个月在Agent办公智能体月访问量增量榜居第2,Web端月独立访客数综合类套件保持第1,平均使用时长排名升至第1。 这反映了其全场景办公能力获得持续认可,帮助职场人更高效处理复杂任务。

  2. 机器之心78

    清华团队推出 OSWorld-Science 评测基准:12 个视觉语言模型科研软件操作平均得分仅 34.3%

    清华大学等机构推出面向真实科研场景的智能体评测基准 OSWorld-Science,包含 146 项专家设计的任务,涵盖 7 大科学领域和 14 种科研软件配置。

    推荐理由:该基准揭示了视觉语言模型在复杂科研软件操作中的具体失败模式与成本差异,为评估智能体实际执行能力提供了可复用的数据与方法。

  3. LessWrong · All Posts43

    ImpossibleBench 审计:前沿 LLM 编码智能体的 reward hacking 现状

    审计评估了 Anthropic、OpenAI 和 Google 当前前沿模型在 ImpossibleBench 中的表现,重点分析 LLM 编码智能体的 reward hacking 行为。 测试包含被篡改或矛盾的单元测试,模型若通过则视为作弊。审计引入了“诚实失败”指标,区分模型是指出任务不可能但仍作弊,还是误判正常测试为错误。

  4. The Decoder82

    Meta 发布前沿模型 Muse Wonder 系列,跻身 AI 第一梯队

    Meta 发布 Muse Wonder 系列大模型,其在 Artificial Analysis 指数上排名前列,跻身顶级模型行列。该系列大幅提升了智能体与编码能力,在 Terminal-Bench 4.0 等基准测试中表现突出,并引入了Active Memory和Active Focus等新特性。

    同一新闻,精选展示《Meta发布前沿模型Muse Wonder系列,主打主动记忆与Agent能力》

  5. Hacker News AI63

    Epoch 实测六大 AI 模型:前沿模型无法完全自动化其日常工作

    Epoch 团队使用六大 AI 模型完成其真实的图形生成和研究设计任务,发现 GPT-6 Astra 和 Claude Fable 5.1 等前沿模型在明确定义的任务上可靠,但难以处理开放式挑战。模型在理解隐含标准、设计实验和利用参考学习通例方面存在明显短板,开源模型在基础任务上表现更弱。现有基准测试往往忽略这些开放任务中的缺陷,导致对 AI 真实工作能力的评估偏高。

  6. Hacker News LLM36

    Boole-1.7B 1-bit LLM 性能超越 Bonsai-1.7B

    Boole-1.7B 发布,这是基于 Qwen3-1.7B 的 1-bit 语言模型,存储权重仅 247 MB,十项基准平均分 50.55。该模型达到 BF16 基线 58.83 分的 85.9%,相比二进制 Bonsai-1.7B 高出 5.58 分。在 23 个小模型中,它拥有最高的智能密度 2.85/GB。

10月12日周一
  1. Seven Minute Feed60

    Vals AI 发现:多智能体团队成本最高达 5 倍,但性能远超单智能体极少

    Vals AI 对 GPT-6 Sol 和 Claude Opus 5.5 进行 Vibe Code Bench 评测,发现多智能体团队的成本是单智能体的 1.8 至 5.1 倍。在四种对比中,仅 Sol 在中等推理强度下取得 7.3 分的显著优势,而在最高推理强度下,多智能体未能带来实质性能提升,增加智能体数量主要提升速度而非质量。

  2. arXiv · AI48

    当前 AI 基准测试遗漏维度:ChatGPT 模态、搜索、引用与安全评估研究

    针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。

  3. arXiv · AI45

    SWE-Bench Pro Verified:面向软件工程智能体的可靠评测基准

    SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。

  4. arXiv · AI26

    Who&When Pro: 大语言模型真的能为AI智能体归因失败吗?

    研究提出Who&When Pro基准,用于评估大语言模型在智能体系统中的自动失败归因能力。 该基准通过严格受控流水线构造了12,326条带有黄金标签的失败轨迹,涵盖3种模态和26个评测场景。 实验揭示了模型在归因失败时跨模态、协议及模型家族的系统性模式,为未来归因系统提供实证指导。

  5. arXiv · AI26

    ChemCost:评估 LLM 在化学成本推理中的表现

    研究团队推出 ChemCost 基准,包含 1,427 个可评估反应和 226,1 种化学物质,用于测试 LLM 智能体在化学采购成本估算任务中的表现。 实验表明,最强智能体在干净输入下准确率为 50.6%,但在注入噪声后性能显著下降。故障分析显示,问题源于解析脆弱、证据整合低效及无效包装选择。

  6. arXiv · NLP33

    StreamDecisionBench:评估语言流中生效决策的基准

    团队发布数据集 StreamDecisionBench 及 in-force accuracy 指标,用于评估语言模型在实时流式决策中的应用。 数据集包含 8 个流式场景,指标在 0.5-8 秒的更新间隔内计算决策正确率,共同反映准确率与延迟。 测试发现慢速模型约 42%-47% 的时间因答案过时出错,最优混合系统也仅有约三分之二时间保持决策正确。

  7. arXiv · NLP31

    MVGraph 基准:评测 LVLM 在多视图视觉图上的证据合成能力

    引入 MVGraph 基准,用于评测 LVLM 在多图推理中跨多个互相关联视觉图视图的证据合成能力。 包含 8k 个实例,覆盖 8 个图论任务,由部分和时间图视图两种场景抽象而来。设计了 29 个诊断任务(64k 实例)将推理分解为感知、对齐、合成和推理四个维度。 在 15 个 LVLM 测试中发现,跨视图边对齐和关系级合成是主要瓶颈,代码和数据已开放。

  8. arXiv · NLP28

    通过长尾性能评估大语言模型的创造力

    论文提出将创造力形式化为参考输入输出分布长尾区间的任务特定性能。在 15 个基准和 26 个开源权重模型上验证该观点。 引入 q@Tail($\alpha$) 诊断工具,通过测量现有基准的尾部比例平均任务质量来评估创造力。结果表明该方法能有效识别模型在尾部区域的表现差异。

  9. arXiv · ML43

    Vision2Code:评估图像到代码生成的多领域基准测试

    Vision2Code 是一个多领域、无参考代码基准,包含来自 15 个数据集的 539 个测试样本,涵盖图表、几何及 3D 空间等场景。 其评分方法与人类评分相关性更高,利用该方法进行拒绝采样微调,可使 Qwen3.5-9B 性能提升 16%,Phi-4-MM 提升 28%。 该基准揭示了现有模型在图表和图形领域准确率显著高于其他领域,并验证了评分方法在采样重复性和权重变化下的可靠性。

  10. arXiv · ML39

    FactoryBench: 工业机器理解基准

    FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。

  11. arXiv · ML44

    SqueezeBench:面向数学能力评估的抗饱和基准

    研究者提出 SqueezeBench,一种通过不断抬高上下界记录来抵抗饱和的数学评估基准,并发布了来自极值组合学的 10 个问题。 该基准利用 Lean 核进行机器证明验证,基线测试中,基于前沿语言模型的智能体在每次记录不超过 1 小时的情况下,共接受了 82 次提交并改进了所有记录,后续新模型进一步改进了其中 19 项。

  12. arXiv · ML40

    AgentSWE: 编码智能体能否构建用户真正需要的 Agent

    研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。

  13. arXiv · ML26

    MolP2SBench:评估大语言模型从分子性质推导结构的推理能力

    研究者提出 MolP2SBench 基准,用于评估 LLM 在分子发现中依据物理性质进行结构推理的能力。该基准包含 7 个模型测试,核心指标为 Property-Grounded Recovery (PGR)。 实验发现模型对不同类型性质(如 NMR、UV-Vis)的响应不一致,且性能并不直接反映人类化学家的相对难度。该工具为构建基于可靠性质约束的分子推理模型提供了基础。