AbMaze 评测前沿 AI Agent 在蛋白质适应性景观中的表现
AbMaze 是一个基于 65,536 个实验室测定的抗体变异的基准测试,评估 AI Agent 在 150 次测量预算下寻找多抗原结合物的能力。测试结果显示,最强模型 Gemini 4 的得分(55%)与脚本化的贝叶斯优化器(50%)处于同一水平,未能表现出超越传统方法的智能;GPT-6 Astra 和 Grok 4.7 等模型则表现落后。
AbMaze 是一个基于 65,536 个实验室测定的抗体变异的基准测试,评估 AI Agent 在 150 次测量预算下寻找多抗原结合物的能力。测试结果显示,最强模型 Gemini 4 的得分(55%)与脚本化的贝叶斯优化器(50%)处于同一水平,未能表现出超越传统方法的智能;GPT-6 Astra 和 Grok 4.7 等模型则表现落后。
Hacker News 讨论 AI 撰写的论文评审是否构成安全风险,并展示 ICLR 2027 部分评分数据。 可解释性研究获得最低分,高分论文包括“Context Language Models”。 作者认为该现象与 OpenAI 最新安全研究发现一致。
Village 基于 LLM Atlas 基准发布研究,指出自 2024 年以来,非美非中地区最佳模型的中位落后时间约为 9.9 个月,而中国仅落后 5.2 个月。法国 Mistral 和韩国正通过开源模型与政府资助缩小差距,加拿大 Cohere 转向企业软件导致自研模型落后 18 个月,印度 Sarvam 及 UAE 则分别因专注自研训练和算力建设而处于更落后位置。研究强调各国策略正出现分化。
作者构建了评测基准 ToneBench,利用 LLM 评委评估 84 个模型对 10 个 YouTube 脚本的写作能力。 该基准要求每个模型生成 5 份草稿以区分“好日子”与“坏日子”,Grok 4.7 在最好与最坏草稿中分别排名第 28 和 62 位。 LLM 评委先选定 6 级评分标准之一再赋数值,比直接打分更具一致性,以此校准模型表现。
Qwen-Audio-3.1-Realtime 在事实性与安全性上进行优化,HalluQA无幻觉通过率达71.33%,多轮攻击成功率显著降低。 中文多轮攻击成功率从80.50%降至26.00%,英文从63.50%降至23.50%。 模型采用GRPO进行攻防联合训练,动态探索安全失效边界。
IDC 报告显示,阿里云 2025 年中国大数据平台整体市场份额 23.5%,位居第一,连续五年领跑公有云市场。 阿里云公有云份额超二至四名总和,Agent Data Lake 评估获 9 项满分,数据治理平台份额 33.1%。 全栈底座与 Data+AI 优势助力其成为业务价值核心。
Einsia AI 发布 Frontier3DBench,评测 Coding Agent 在物体、场景与开放世界 3D 创作中的全栈能力。该基准涵盖 145 项任务,评测结果显示 GPT-6.1-sol 在总榜排名第一,但模型在参考图重建与开放世界连续交互任务中普遍存在显著的能力短板。
Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数量 / 17B 激活量的多模态 MoE 模型,采用 NVFP4 原生精度在 GB300 集群上耗时 68 小时完成预训练。
推荐理由:原文给出训练参数与评测结果,读者可据此判断该模型对西方开源生态与微调工作流的影响。
Visa 研究让 22 个 AI 智能体购买电视、笔记本和美发设备,每项任务重复 15 次,总体成功率约 57%。Google 的 Gemini Aragon 4 和 Meta Wonder 智能体成功率最高,达到 82%;Claude 智能体为 76%;OpenAI 智能体为 64%。研究发现,五款最贵模型的平均成功率为 67%,五款最便宜模型为 50%。
SemiAnalysis 推出 GDPx 基准测试,让 AI 智能体在 11 个领域(含芯片设计、量化交易、法律)的 206 项任务中模拟最长八小时工作。Claude Opus 5.5 以 12% 完成率居首,Gemini 4 Carbon 以 10.9% 次之(单任务成本约 16.29 美元),GPT-6 Astra 为 9.6%。
360 自研 AI 安全系统图龙锋在 CyberGym 榜单上以 99.4% 的漏洞复现成功率创下单项最高纪录。该系统基于 360 团队二十余年的安全专家经验和过程数据训练,通过“安全领域大模型+专业智能体蜂群”架构实现自动化漏洞挖掘。自今年 6 月发布以来,图龙锋累计发现漏洞超 1.5 万个,并成为全国唯一通过中国信通院首批“漏洞挖掘智能体能力评估”的产品。
推荐理由:360 图龙锋系统在 CyberGym 基准取得 99.4% 成功率,展示了将专家经验转化为 AI 能力的具体路径。
开源框架 openJiuwen 发布,支持结构化合成与运行时自适应,在 SWE-bench Verified 达 82.6%,Terminal-Bench 2.1 达 87.19%。 框架通过 Rail-based 能力合成与固定模型策略下的运行时动态调整,提升复杂编码任务性能,分别超官方榜单最佳成绩 3.4 和 3.39 个百分点。 结果表明该设计在复杂编码任务上兼具高性能与可组合性。
XStack 基准评估 AI 智能体在 PyTorch/NVIDIA GPU 与 JAX/Google TPU 生态系统间迁移 ML 仓库的能力。智能体需将 PyTorch 仓库转换为可通过校准验证的 JAX 仓库,当前表现不可靠:Claude Opus 5 通过率为 75%,GPT-5.6-sol 为 45%,其他智能体不超过 40%。
研究者发布 Multi-step SWE 基准,包含 69 个由 5-15 个依赖步骤构成的软件工程任务,覆盖九种编程语言。 最强前沿模型在长时程任务中的解决率仅为 18.5%,且 69 个任务中有 38 个未被任何模型完全解决。 该基准已公开发布,用于评估编码智能体在自身生成代码上进行迭代开发的能力。
summary_zh: 针对智能体基准的持续验证工作流被应用于 Terminal-Bench 2.0,发布版本 2.1 以修复约 30% 的任务缺陷。 修复后准确率提升超 10 个百分点,排行榜排名变动达 3 位,但整体排名保持高相关(Spearman rho = 0.958)。
MCPHallu 发布了一个包含 358 项任务的基准,用于诊断 MCP 环境下的智能体幻觉。该基准涵盖 5 个能力域,并在 36 个生产级 MCP 服务器运行,设计了 Branch Collapse、Unreachable Goal 等 4 种失败亚型以进行细分分析。
FINCOSMOS 提出开放世界金融智能体评估范式,覆盖 4 个编码智能体和 1 个无工具模型共 150 次会话。 智能体需从 Web 获取数据并在截止时间内构建回测,所有 150 次会话均因程序检查失败未被接受,智能体仅主动提及 54%–64% 的未知细节。 使用 FINCOSMOS 反馈后,具备持久记忆的智能体成功学会了全部 10 项任务。
Village 发布的 LLM Atlas 显示,闭源 AI 模型目前主导了价格-性能前沿,仅在 3% 的低价预算区间内,开源模型(如 Gemma 4 E4B 和 MiMo-V2.6-Flash)才是最佳选择。
Vetto 发布了 ScienceBench,包含14个学科、50个可验证的数据分析任务,用于评估前沿模型的科学判断力。测试13个模型显示,表现最好的模型通过率仅为49%,且5个任务无模型解决。分析表明,65%的失败源于模型已发现数据异常但误判或错误处理,而非代码错误;简单的警告提示虽提升通过率10个百分点,但无法解决模型缺乏科学推理判断的根本缺陷。
SemiAnalysis 发布了 GDPx 基准,将 AI 智能体投入模拟工作环境中测试,206 项任务涵盖芯片设计、网络安全、法律等 11 个领域。基准测试结果显示,Claude Opus 5.5 以 12% 的最高得分位居榜首,没有模型在财务和法律任务中完全成功。
作者使用谜题游戏Starburst测试大模型,发现自gpt-4o发布后,SOTA模型的智能指标随时间基本保持线性增长,且仍低于受测的高智力人类。
NeurIPS 2026 论文发布 GraphIP-Bench,统一评估 12 种攻击与 12 种防御。 该基准涵盖 10 个公共图、3 类 GNN 骨干及 3 项任务。研究显示中等查询预算下窃取 GNN 较容易,多数防御未能改变此现状,且异质图更难被窃取。
研究团队发布开源基准 CivBench,用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具,单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现,智能体在主动监控率和短期承诺执行率(RAG@10 为 48.2%-65.8%)上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。
研究验证了 R-Judge、InjecAgent、AgentHarm 和 AgentDojo 等四个智能体安全基准,指出其得分不可互换为单一安全指标。 官方评分器下,R-Judge 的“总是阳性”策略即可达 0.690 高分,而四个基准对 18 个模型的排序结果各不相同。
论文提出以工作活动为中心的基准表示框架,补充了被代表活动、测试环境等四个缺失字段。 基于该框架审计了GDPval等三个基准,发现13个APEX-SWE任务测试存在缺陷。 框架使不同基准具备可比性,提供了单页记录模板以规范报告实践。
ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。
研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。
PersonaCodeBench 是一个新基准,将用户特征转化为可验证的义务,用于多轮编码交互。 该基准包含角色、技术能力、交互偏好及约束的人格池,通过控制器管理模拟用户响应与需求披露。 它分别评估原生正确性与个性化满足度,支持对前沿编码智能体进行可复现评估。
研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。
研究人员提出 SVGFaith 双层元评估框架,包含 1,842 对诊断数据和 1,327 个人工标注竞技场数据。 SVGFaith-Score 在 Arena 及两个诊断方向上均显著优于包括 Qwen3.5-122B-A10B 在内的九项基线。 该框架揭示了现有嵌入指标在空间关系和属性绑定上的局限,提供了可解释的逐需求评分。
AGORA 提出基于项目反应理论聚合器,无需人工标签即可从所有项目联合学习裁判可靠性。 该方法将每个项目置于潜在质量尺度上,通过灵敏度参数和有序评级阈值描述裁判。在三个基准测试中,AGORA 表现优于或持平 Dawid-Skene,且在小规模评测集上优势更显著。
多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。
研究团队提出CARTBench基准,包含17个零售领域1603条产品记录和1328项专家标注标准,涵盖核心、卓越与安全维度。 测试显示10个模型中仅3个在核心任务超90%,无一在卓越任务超45%,揭示理解到执行的差距。
研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。
OpenAI 推出全球首个个性化代理消费者任务基准 LifeVal,基于 25 国时间使用调查与 3800 余名消费者问卷,筛选出 148 个高价值生活任务,测算出美国消费者每年愿意为此支付 1.7 万亿美元。
Amazon Bedrock AgentCore Evaluations 支持将 Jev 和 Strands Decider 2B 等决策模型接入代码型评估器,对智能体输出进行结构化打分。
First Silicon基准测试评估前沿模型检测开源芯片设计真实漏洞的能力,86个修复案例中Claude Opus 5.5最大努力模式零误报命中率达18.6%,是最佳结果。测试允许误报时其命中率升至32.6%,而67个真实漏洞在所有模型默认设置下均未被发现。模型引入形式化检查器后准确率反而下降,暴露了判断反例是否为代码错误还是断言错误的开放问题。
基准测试对比了八款 iOS 模拟器 MCP 工具在智能体登录场景下的性能,simulator-use 以每次登录 194 个 token 的消耗量表现最优,比第二名低 3.4 倍,比 Xcode MCP 低 66 倍,且登录速度最快。测试涵盖屏幕读取、点击、输入等单项操作及完整登录流程,详细记录了各工具在 Apple M5 Pro 虚拟机上的耗时与 token 估算值。
华为云智果 AgentArts 成为首个通过中国信通院可信 AI 企业级智能体平台评估并获得 4+ 级最高评级的产品。 评估涵盖技术、应用与服务能力,平台支持 LangChain 等框架,具备全托管、运行时托管及全链路可观测等核心能力。
英伟达与 UT-Austin 等机构发布实时交互基准 Realtime-Bench,测试 12 种前沿模型在 30 个网页任务和 20 个游戏任务中的表现。结果显示即使表现最好的 GPT-6-Astra 在高推理强度下的 Pass^3 也仅为 36%,且多数模型延迟超过 1 秒;即使移除推理时间开销,仍有多数任务无法完成,表明仅降低延迟不足以保证可靠的实时表现。
推荐理由:实时互动任务要求模型在时间约束下完成观察、推理与行动,最佳模型成功率也仅 44%,展示了实时能力评测框架的核心结果。