API 基准分数无法可靠迁移至聊天机器人界面
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。
研究提出Who&When Pro基准,用于评估大语言模型在智能体系统中的自动失败归因能力。 该基准通过严格受控流水线构造了12,326条带有黄金标签的失败轨迹,涵盖3种模态和26个评测场景。 实验揭示了模型在归因失败时跨模态、协议及模型家族的系统性模式,为未来归因系统提供实证指导。
研究提出 RobustBench-TC 基准,包含 22 种扰动类型,揭示工具使用智能体在真实部署中面临的 Sim-to-Real 差距。21 个模型测试显示,奖励与状态转换扰动分别导致准确率下降约 40% 和 30%,而观测扰动影响不足 5%。
研究团队推出 ChemCost 基准,包含 1,427 个可评估反应和 226,1 种化学物质,用于测试 LLM 智能体在化学采购成本估算任务中的表现。 实验表明,最强智能体在干净输入下准确率为 50.6%,但在注入噪声后性能显著下降。故障分析显示,问题源于解析脆弱、证据整合低效及无效包装选择。
AutoControl Arena 通过逻辑-叙事解耦构建自动化评估框架,实现端到端成功率超98%及60%人类偏好度。 该框架在三智能体架构下对9个前沿模型进行评估,覆盖70个场景及7类风险。 评估揭示了对齐幻觉、场景特异性安全扩展及发散性错位模式。
团队发布数据集 StreamDecisionBench 及 in-force accuracy 指标,用于评估语言模型在实时流式决策中的应用。 数据集包含 8 个流式场景,指标在 0.5-8 秒的更新间隔内计算决策正确率,共同反映准确率与延迟。 测试发现慢速模型约 42%-47% 的时间因答案过时出错,最优混合系统也仅有约三分之二时间保持决策正确。
TokenSwap 通过生成图文交错输入揭示多模态大语言模型的模态差距,在 42 个 MLLM 上性能下降 4.2% 至 47.4%,平均降幅 19.6%。 推理模型模态差距平均为 10.1%,显著低于非推理模型的 25.5%;将 TokenSwap 纳入训练能有效缩小该差距并保持原有性能。
OccludeBench 基准测试显示,五款 VLM 在直接遮挡识别上准确率仅 42.7%,低于人类 63.4%。 其诊断工具 OccludeTrace 发现模型在从全图定位目标时失败率高,而 inpaint-then-confront 策略可显著缩小直接推理与推断推理之间的性能差距。
APEX-Harm 基准发布,用于评估长程智能体在金融、咨询和法务任务中的提示词与脚本注入攻击。该基准包含 180 个任务实例,每个任务涉及 115 到 328 个文件,并暴露通过 MCP 服务器提供的邮件、日历、代码执行等工具。
引入 MVGraph 基准,用于评测 LVLM 在多图推理中跨多个互相关联视觉图视图的证据合成能力。 包含 8k 个实例,覆盖 8 个图论任务,由部分和时间图视图两种场景抽象而来。设计了 29 个诊断任务(64k 实例)将推理分解为感知、对齐、合成和推理四个维度。 在 15 个 LVLM 测试中发现,跨视图边对齐和关系级合成是主要瓶颈,代码和数据已开放。
提出AdaC-GRPO方法,解决强化学习在长程多模态任务中因奖励稀疏停滞的问题。 该方法通过在线推演准确率追踪模型的“最近发展区”,动态构建训练批次。 实验显示Qwen2.5-VL-7B性能接近Gemini-2.5-Flash,并弥补了与Gemini-2.5-Pro之间62.2%的整体准确率差距。
该研究发布基准测试 MathVis,用于评估 LLM 将前沿数学问题可视化及执行图示辅助推理的能力。 基准包含 512 个任务,GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 得分分别为 31.25%、26.56% 和 22.85%。
论文提出将创造力形式化为参考输入输出分布长尾区间的任务特定性能。在 15 个基准和 26 个开源权重模型上验证该观点。 引入 q@Tail($\alpha$) 诊断工具,通过测量现有基准的尾部比例平均任务质量来评估创造力。结果表明该方法能有效识别模型在尾部区域的表现差异。
无状态服务及 Python 库 perturber 每次调用应用一个语义保持扰动,支持可复现评估。 服务基于 68 种扰动目录,涵盖 11 个家族,确保输出一致性。 提供在线操作台、可检查目录及一键复现评估功能。
研究者提出 SWE-Duel,一个让编码智能体在评估时互相出题、动态扩展的自扩展竞技场,以解决静态基准泄露与饱和问题。 试验中 11 个模型-框架组合在 15 个仓库、5 种语言上进行 1,500 轮红蓝对抗;GPT-5.5 修复率 98.3% 居首,Claude Opus 4.8 红方胜率 27.3% 次之。
Agents' Last Exam (ALE) 是一项评估 AI 智能体在长周期、真实世界任务中表现的基准,由 250 多位行业专家参与开发,覆盖 13 个行业集群和 1000 多项任务。
Vision2Code 是一个多领域、无参考代码基准,包含来自 15 个数据集的 539 个测试样本,涵盖图表、几何及 3D 空间等场景。 其评分方法与人类评分相关性更高,利用该方法进行拒绝采样微调,可使 Qwen3.5-9B 性能提升 16%,Phi-4-MM 提升 28%。 该基准揭示了现有模型在图表和图形领域准确率显著高于其他领域,并验证了评分方法在采样重复性和权重变化下的可靠性。
FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。
研究者提出 SqueezeBench,一种通过不断抬高上下界记录来抵抗饱和的数学评估基准,并发布了来自极值组合学的 10 个问题。 该基准利用 Lean 核进行机器证明验证,基线测试中,基于前沿语言模型的智能体在每次记录不超过 1 小时的情况下,共接受了 82 次提交并改进了所有记录,后续新模型进一步改进了其中 19 项。
研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。
CoBe 基准测试包含 2000 个问题,用于评估模型零样本反事实文本编辑能力。 前沿模型平均得分 58.05%,性能随模型规模或输出长度增加未稳定提升,且模型常默认使用关联性生成而非保持因果结构。 该基准已被 NeurIPS'26 工作坊接受,旨在区分反事实推理与统计关联性文本生成。
SpireBench 引入让 LLM 完整游玩《杀戮尖塔》以测试长期策略推理。涵盖 20 款 LLM 在最高难度下表现,前沿模型胜率高但落后专家。研究发现模型擅长单场战斗但误解风险,且未从跨局记忆改进。
研究者提出 MolP2SBench 基准,用于评估 LLM 在分子发现中依据物理性质进行结构推理的能力。该基准包含 7 个模型测试,核心指标为 Property-Grounded Recovery (PGR)。 实验发现模型对不同类型性质(如 NMR、UV-Vis)的响应不一致,且性能并不直接反映人类化学家的相对难度。该工具为构建基于可靠性质约束的分子推理模型提供了基础。
summary_zh: 研究团队提出基准测试 TabReliBench,用于评估表格基础模型(TFMs)的后验预测分布可靠性。该基准涵盖点预测、分布质量、校准及区间效率等多维指标。
CoCoEvolve 引入“元反射”机制,优化生产级 AI 系统性能。 在 DABStep 基准测试中达到 92.8% 准确率,优于 Meta-Harness 的 78.4%。 在 data-eng-bench 中将从 59.1% 提升至 77.4%。
韩国视觉创作者 Oasis 针对 Kling 4.0进行了三组实战测试,重点考察超现实场景下的人物表演自然度、多图转场稳定性以及实拍与卡通风格的转换连贯性。测试结果显示,Kling 4.0 能够较好地保留静态图像中的色调与空间质感,在多人互动、场景切换及混合风格视频生成中保持了较高的角色一致性与动作逻辑。
IndustrialVLA-Bench 发布,统一评估 6 个开源 VLA 和 WAM 机器人策略模型,提供可追溯的多维证据。 在 LIBERO 基准测试中,6 个系统的平均基础能力得分仅相差 1.58 分;但涉及鲁棒性和语言敏感度时,得分跨度分别达到 14.62 分和 31.08 分。 该评估工具通过分离协议忠实的证据层级,为对比已发布的机器人策略提供了清晰的实用性标准,代码和评估记录已公开。
研究首次提出“资源劫持”攻击,成功诱使 LLM Agent 为攻击者目标使用高价值资源,平均成功率在 70.0% 至 89.6% 之间。 评估构建了 ResourceHijackBench 基准,包含 300 个攻击场景和 900 个提示词,结果显示现有最低防御方案的平均成功率仍高达 55.1%。 提出的 ResGate 预执行授权防御机制将 OpenClaw 上的平均攻击成功率降至 23.6%。
研究提出层级基准 PostEDA-Bench,包含 DRC 修复与 PPA 收敛等 145 项任务,用于评估 LLM 智能体在 EDA 领域的表现。 在八款商用及开源 LLM 测试中,模型在复杂任务表现受限,DRC-Reasoning 最佳成功率仅 36.66%,PPA-Multi 仅 20.00%。 视觉增强可提升 DRC 表现,而权衡推理能力而非参数知识是 PPA-Multi 任务的主要瓶颈。
READ-Bench 提出针对时间序列诊断的历史案例检索基准,定义 12 个数据集,以共享故障类型而非信号形状衡量相关性。 实验表明,预训练表示在纯检索环节无统计优势;动态时间规整与嵌入融合结合高斯过程重排序器,使 NDCG@10 在 12 个数据集上分别提升 +0.11 和 +0.16。 少量已解决案例的监督对重排序起决定性作用,优于复杂表示或语言模型推理。
针对固定基准的天花板效应,提出动态边界评估(DBE)方法。 DBE 基于 9 个参考 LLM 构建校准题库,并使用 Skill-Guided Boundary Search (SGBS) 算法定位模型边界。 该方法能在统一难度量表上扩展评估范围,避免评测饱和且兼容现有数据集。
该基准测试包含来自 371 个 Python 和 C++ 程序的 400 个案例,在七个设置下评估了四个模型家族预测最终输出和检查点状态的能力。启用推理的设置比未启用的设置高出 33.1 至 55.2 个百分点。
设计创意基准测试显示 LLM UI 生成同质化严重。 LLM 间原创性仅为 0.592,低于人模对的 0.764;创意范围 0.581 远落后人类的 0.902。 LLM 适切性超 90%,最佳模型达 99.2%,略高于人类的 98.0%。
SAVU-Bench 评测 12 个模型,发现视觉空间定位较成熟,而音频空间感知是主要瓶颈。 该基准包含 3 个能力级别和 7 项任务,配合 SAVU-Diag 分解推理错误。 研究提出 SAVU-EA 无训练基线,虽提升空间定位,但高阶空间推理仍具挑战性。
TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。
研究者基于 228 项任务与 26 种 AI 模型重新计算 METR 时间跨度,利用样条曲线与项目反应理论放宽了对数线性假设。 拟合样条显示 2-30 分钟内 AI 难度近乎平坦,而 30 分钟至 5 小时的跨度提升难度更大。 文章指出时间跨度基准需结合诊断图解读,以评估其构念效度。
TypedBench 是评估 System One 决策模型的基准,基于7个策略标注生成器和9个评估套件构建,测试0.8B至9B参数的开放解码器及托管模型。 该基准通过选择性预测、序数恰当评分规则和非对称成本矩阵下的实际成本来评估概率质量,并报告跨改写准确率的中位数及范围。 在托管模型上,非对称成本下使用其概率比直接采用首选答案更差;解码器在策略问题上准确率最低且随选项增多而下降。
OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。
新基准 AgentHorizon 发布,包含 1373 个计算机使用任务,源自 166 小时人工记录轨迹,覆盖三种操作系统。 评估 11 个裁判模型时,最佳智能体裁判 GPT-5.5 在 AH 子集上取得 80.9% 平衡准确率,处理多达 300 张截图。 研究揭示工具使用提升部分模型表现,但使开源权重模型表现变差,凸显长交互史中验证隐藏证据的必要性。