跳到正文
10月12日周一
  1. arXiv · AI45

    SWE-Bench Pro Verified:面向软件工程智能体的可靠评测基准

    SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。

  2. arXiv · AI26

    Who&When Pro: 大语言模型真的能为AI智能体归因失败吗?

    研究提出Who&When Pro基准,用于评估大语言模型在智能体系统中的自动失败归因能力。 该基准通过严格受控流水线构造了12,326条带有黄金标签的失败轨迹,涵盖3种模态和26个评测场景。 实验揭示了模型在归因失败时跨模态、协议及模型家族的系统性模式,为未来归因系统提供实证指导。

  3. arXiv · AI26

    ChemCost:评估 LLM 在化学成本推理中的表现

    研究团队推出 ChemCost 基准,包含 1,427 个可评估反应和 226,1 种化学物质,用于测试 LLM 智能体在化学采购成本估算任务中的表现。 实验表明,最强智能体在干净输入下准确率为 50.6%,但在注入噪声后性能显著下降。故障分析显示,问题源于解析脆弱、证据整合低效及无效包装选择。

  4. arXiv · NLP33

    StreamDecisionBench:评估语言流中生效决策的基准

    团队发布数据集 StreamDecisionBench 及 in-force accuracy 指标,用于评估语言模型在实时流式决策中的应用。 数据集包含 8 个流式场景,指标在 0.5-8 秒的更新间隔内计算决策正确率,共同反映准确率与延迟。 测试发现慢速模型约 42%-47% 的时间因答案过时出错,最优混合系统也仅有约三分之二时间保持决策正确。

  5. arXiv · NLP31

    MVGraph 基准:评测 LVLM 在多视图视觉图上的证据合成能力

    引入 MVGraph 基准,用于评测 LVLM 在多图推理中跨多个互相关联视觉图视图的证据合成能力。 包含 8k 个实例,覆盖 8 个图论任务,由部分和时间图视图两种场景抽象而来。设计了 29 个诊断任务(64k 实例)将推理分解为感知、对齐、合成和推理四个维度。 在 15 个 LVLM 测试中发现,跨视图边对齐和关系级合成是主要瓶颈,代码和数据已开放。

  6. arXiv · NLP28

    通过长尾性能评估大语言模型的创造力

    论文提出将创造力形式化为参考输入输出分布长尾区间的任务特定性能。在 15 个基准和 26 个开源权重模型上验证该观点。 引入 q@Tail($\alpha$) 诊断工具,通过测量现有基准的尾部比例平均任务质量来评估创造力。结果表明该方法能有效识别模型在尾部区域的表现差异。

  7. arXiv · ML43

    Vision2Code:评估图像到代码生成的多领域基准测试

    Vision2Code 是一个多领域、无参考代码基准,包含来自 15 个数据集的 539 个测试样本,涵盖图表、几何及 3D 空间等场景。 其评分方法与人类评分相关性更高,利用该方法进行拒绝采样微调,可使 Qwen3.5-9B 性能提升 16%,Phi-4-MM 提升 28%。 该基准揭示了现有模型在图表和图形领域准确率显著高于其他领域,并验证了评分方法在采样重复性和权重变化下的可靠性。

  8. arXiv · ML39

    FactoryBench: 工业机器理解基准

    FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。

  9. arXiv · ML44

    SqueezeBench:面向数学能力评估的抗饱和基准

    研究者提出 SqueezeBench,一种通过不断抬高上下界记录来抵抗饱和的数学评估基准,并发布了来自极值组合学的 10 个问题。 该基准利用 Lean 核进行机器证明验证,基线测试中,基于前沿语言模型的智能体在每次记录不超过 1 小时的情况下,共接受了 82 次提交并改进了所有记录,后续新模型进一步改进了其中 19 项。

  10. arXiv · ML40

    AgentSWE: 编码智能体能否构建用户真正需要的 Agent

    研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。

  11. arXiv · ML26

    MolP2SBench:评估大语言模型从分子性质推导结构的推理能力

    研究者提出 MolP2SBench 基准,用于评估 LLM 在分子发现中依据物理性质进行结构推理的能力。该基准包含 7 个模型测试,核心指标为 Property-Grounded Recovery (PGR)。 实验发现模型对不同类型性质(如 NMR、UV-Vis)的响应不一致,且性能并不直接反映人类化学家的相对难度。该工具为构建基于可靠性质约束的分子推理模型提供了基础。

10月10日周六
  1. 可灵AI57

    可灵Kling 4.0实战测评:超现实场景生成效果分析

    韩国视觉创作者 Oasis 针对 Kling 4.0进行了三组实战测试,重点考察超现实场景下的人物表演自然度、多图转场稳定性以及实拍与卡通风格的转换连贯性。测试结果显示,Kling 4.0 能够较好地保留静态图像中的色调与空间质感,在多人互动、场景切换及混合风格视频生成中保持了较高的角色一致性与动作逻辑。

10月9日周五
  1. arXiv · AI26

    IndustrialVLA-Bench:开源机器人策略模型的可追溯多维评估

    IndustrialVLA-Bench 发布,统一评估 6 个开源 VLA 和 WAM 机器人策略模型,提供可追溯的多维证据。 在 LIBERO 基准测试中,6 个系统的平均基础能力得分仅相差 1.58 分;但涉及鲁棒性和语言敏感度时,得分跨度分别达到 14.62 分和 31.08 分。 该评估工具通过分离协议忠实的证据层级,为对比已发布的机器人策略提供了清晰的实用性标准,代码和评估记录已公开。

  2. arXiv · AI50

    LLM Agent 资源劫持研究:ResourceHijackBench 基准与 ResGate 防御机制

    研究首次提出“资源劫持”攻击,成功诱使 LLM Agent 为攻击者目标使用高价值资源,平均成功率在 70.0% 至 89.6% 之间。 评估构建了 ResourceHijackBench 基准,包含 300 个攻击场景和 900 个提示词,结果显示现有最低防御方案的平均成功率仍高达 55.1%。 提出的 ResGate 预执行授权防御机制将 OpenClaw 上的平均攻击成功率降至 23.6%。

  3. arXiv · AI30

    PostEDA-Bench:面向 PPA 收敛与 DRC 修复的层级化 EDA 基准

    研究提出层级基准 PostEDA-Bench,包含 DRC 修复与 PPA 收敛等 145 项任务,用于评估 LLM 智能体在 EDA 领域的表现。 在八款商用及开源 LLM 测试中,模型在复杂任务表现受限,DRC-Reasoning 最佳成功率仅 36.66%,PPA-Multi 仅 20.00%。 视觉增强可提升 DRC 表现,而权衡推理能力而非参数知识是 PPA-Multi 任务的主要瓶颈。

  4. arXiv · AI23

    READ-Bench:面向时间序列诊断的历史实例检索基准

    READ-Bench 提出针对时间序列诊断的历史案例检索基准,定义 12 个数据集,以共享故障类型而非信号形状衡量相关性。 实验表明,预训练表示在纯检索环节无统计优势;动态时间规整与嵌入融合结合高斯过程重排序器,使 NDCG@10 在 12 个数据集上分别提升 +0.11 和 +0.16。 少量已解决案例的监督对重排序起决定性作用,优于复杂表示或语言模型推理。

  5. arXiv · AI50

    TestJack:通过评估器进化审计智能体编码基准的可信度

    TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。

  6. arXiv · AI25

    对 METR AI 时间跨度估计与效度的统计分析

    研究者基于 228 项任务与 26 种 AI 模型重新计算 METR 时间跨度,利用样条曲线与项目反应理论放宽了对数线性假设。 拟合样条显示 2-30 分钟内 AI 难度近乎平坦,而 30 分钟至 5 小时的跨度提升难度更大。 文章指出时间跨度基准需结合诊断图解读,以评估其构念效度。

  7. arXiv · AI24

    TypedBench:面向 System One 决策模型校准、框架敏感性与成本的基准

    TypedBench 是评估 System One 决策模型的基准,基于7个策略标注生成器和9个评估套件构建,测试0.8B至9B参数的开放解码器及托管模型。 该基准通过选择性预测、序数恰当评分规则和非对称成本矩阵下的实际成本来评估概率质量,并报告跨改写准确率的中位数及范围。 在托管模型上,非对称成本下使用其概率比直接采用首选答案更差;解码器在策略问题上准确率最低且随选项增多而下降。

  8. arXiv · AI40

    OpenProblemBench:基于基础理论科学未解难题的AI基准测试

    OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。

  9. arXiv · AI36

    AgentHorizon:评估长时程计算机使用任务中的智能体裁判

    新基准 AgentHorizon 发布,包含 1373 个计算机使用任务,源自 166 小时人工记录轨迹,覆盖三种操作系统。 评估 11 个裁判模型时,最佳智能体裁判 GPT-5.5 在 AH 子集上取得 80.9% 平衡准确率,处理多达 300 张截图。 研究揭示工具使用提升部分模型表现,但使开源权重模型表现变差,凸显长交互史中验证隐藏证据的必要性。