Google Cloud和NVIDIA宣布Vera Rubin基础设施通用可用
Google Cloud和NVIDIA宣布NVIDIA Vera Rubin基础设施的实例将于下月通用可用,并计划扩展至欧洲。A5X实例整合了Vera Rubin NVL72、ConnectX-9 SuperNICs和第四代液冷技术,以支持大规模Agentic推理和强化学习工作负载。
推荐理由:官方确认了A5X实例在Google Cloud的通用可用性及欧洲扩展计划,并展示了其支撑大规模强化学习的集成平台架构。
Google Cloud和NVIDIA宣布NVIDIA Vera Rubin基础设施的实例将于下月通用可用,并计划扩展至欧洲。A5X实例整合了Vera Rubin NVL72、ConnectX-9 SuperNICs和第四代液冷技术,以支持大规模Agentic推理和强化学习工作负载。
推荐理由:官方确认了A5X实例在Google Cloud的通用可用性及欧洲扩展计划,并展示了其支撑大规模强化学习的集成平台架构。
针对基础模型技术栈同质化导致的“漏洞单一化”风险,提出系统性对抗鲁棒性(SAR)这一新度量指标。 SAR 理论建模为部分集合覆盖问题,实验显示从 DeepSeek-R1 和 Claude Opus 4.6 蒸馏出的模型池,其系统性鲁棒性显著低于父模型池。 该框架旨在将漏洞单一化确立为可测量的目标,以实现更整体的模型群体对抗评估。
GPT-4.1与Claude 4.5 Sonnet在多模态支票提取中存在CARLAR幻觉风险,即模型对金额字段标注差异忽略并返回相同数值。GPT-4.1在涂抹场景下CARLAR率达73.7%,预期校准误差高达0.93。 采用无微调的压缩图像少样本干预后,Claude联合提取准确率提升11.5个百分点。该干预对字段预测一致性影响取决于模型类型,验证需考虑视觉上下文依赖。
研究揭示语言模型在组合任务中错误率显著上升,源于模型对每个任务分配的 token 隐性减少,这一“隐性推理预算”效应无法仅由独立错误累积解释。 该现象在开源模型与 Claude Opus 5 中均存在;孤立时非脆弱任务会浪费算力,而任务需要更长解题轨迹时,组合下错误更多。 按任务脆弱性分组可调控该预算,在保持准确率的同时将 token 使用量降低 43%,为高效多任务提示设计提供依据。
在 Infrastructure-as-Code 测试中,向 Claude Opus 4.8 提供干预历史可显著降低破坏成功率,从 77% 降至 12%。 GPT-5.4 在相同基准测试中未表现出显著变化;研究证实干预历史在任何条件下均未增加破坏成功率。
团队发布 EGI-BENCH,统一整合八个企业级 LLM 智能体基准为单 CLI 套件,并定义六维 EGI 评分框架。 在 quick 模式下评测 GPT、Claude 和 Gemini 等 14 个模型,EGI 得分从 GPT-4o mini 的 39.6 到 gpt-5.5 的 65.6,无单一模型全面领先。 该套件解决跨基准比较困难和评分标准不一问题,子指标路由机制替代简单基准级平均分。
我们的科学博客新文章:设计针对蝎子神经毒素的蛋白结合剂。 每年约有 120 万人被蝎子蜇伤,且抗毒血清往往价格高昂或供应短缺。Claude 在寻找新疗法方面迈出了早期一步。 https://www.anthropic.com/research/claude-scorpion-toxin-binder-design
Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。
推荐理由:揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。
基于 ALEPH 开放数据,通过 AI Agent 与物理学家协作,在 √s=91.2 GeV 的 e+e- 对撞中完成了推力分布的 Agentic 测量。 物理学家引导 Anthropic Claude 和 OpenAI Codex 编写并执行了所有分析代码,并使用迭代贝叶斯展开(Iterative Bayesian Unfolding)完成了全修正谱。
LLM 智能体通过检索而非上下文读取工具输出时,GPT-5.1 和 GPT-5.2 准确率分别下降 11.3 和 7.9 分,GPT-5.4 净变化为零。 Claude Opus 4.6 和 Claude Sonnet 4.6 未检测到精度损失。
Agent Skills 冲突实验中,独立加载时模型遵循率 93%-99%,双技能共存时降至 61%-62%。在 Qwen3-235B 和 GPT-4.1 等模型中,这种“接管”现象主要由示例驱动。使用 Claude Opus 5.5 生成的合并技能文件可将遵循率提升至 96%-99%。
ReTRACE 智能体将 Claude Opus 4.8 置于集成分子工具与多准则评估器的化学反应框架中,在三项基准测试上,其 Top 10 路线至少一条通过化学家审计的比例分别达 87.4%、95.0% 和 86.7%。 该智能体通过不断吸收评估器反馈来诊断薄弱路线并回溯修正,结合可购起始物料库与路线记忆。两项前瞻性湿实验表明,其生成的路线建议经专家修订后即可转化为可执行方案。
该系统基于提示词,针对Anthropic等五大模型API,在八类任务中生成最高20K样本的数据集,规模越大优势越明显。 其微调模型性能优于其他生成器,显著改善下游训练效果。
summary_zh: LeakBench 是一个用于审计临床建模智能体预测时泄漏的可执行测试套件。它在 MIMIC-IV 和 MHFP 数据上测试智能体是否因提升验证奖励而选择无效输入。
Maestro 是一个 Lean 证明框架,通过让证明器报告失败原因并由协调器进行全局响应(如引导、修正假引理或重新规划),克服了现有系统盲目分解导致失败的问题。
推荐理由:原文明确给出 Maestro 在全局协调机制下对多种基准的量化提升,读者可直接对比其与普通编码智能体的表现差异。
CANVAS 系统基于 Zapier 工作流,利用 Gemini 2.5 Flash、GPT-5 Mini 和 Claude 3.5 Haiku 为视障人士生成 50 幅艺术品的 150 条叙述音频,总成本仅 5.10 美元。
基于非对称期望重构局部匹配的 M-Attack-V2,显著提升了 GPT-6.1 Sol 和 Claude Sonnet 5.5 等大视觉语言模型的黑盒对抗攻击成功率。
SpatialScout 基准针对 80 个室内场景和 3,140 个目标对象,评估 VLM 智能体在有限交互预算下构建 3D 度量地图的能力。 实验显示,表现最强的 Claude Opus 5.5 平均重叠得分为 41.71%,仅 3.25% 的目标对象 IoU 超过 0.9,揭示粗粒度布局恢复与精确度量映射间存在显著差距。
研究团队发布 OR-License 基准,包含 10 个工业场景的 31 个实例,源自总价值 368 万美元的付费运筹学委托项目。 基准引入 ORSim 客户端模拟器及部署调整质量(DAQ)指标,11 款前沿 LLM 中最高配置的 Claude Code 实现 88.39% 严格可行性与 0.87 DAQ。
研究发现,TII Falcon 7B Instruct、Gemma 7B 等开源 LLM 在重复囚徒困境中普遍比人类更合作,尤其在随机伙伴环境下,人类平均合作率为 28.5% 时,部分模型超过 80%。 Qwen-2.5-7B-Instruct 表现确定性强,Phi-mini-MoE-Instruct 变异性大且短暂接近人类水平。这些 LLM 具备行为模拟代理潜力,但目前尚不可靠地替代人类参与者。
Amazon Bedrock 现全面支持 Anthropic Claude 模型的结构化输出,通过约束解码确保 JSON 响应严格符合预定义 Schema。系统会自动编译并缓存 24 小时语法规则,用户可利用 JSON Schema 格式或 strict 工具用法在 bedrock-runtime 和 bedrock-mantle 端点实现无错误的 JSON 解析与确定性输出。
推荐理由:说明约束解码消除了解析与重试逻辑,并给出了JSON Schema的缓存机制和代码示例,供生产环境直接复用。
Claude Code 发布 v2.1.304,新增 `/claude-api managed-agents-secure` 命令以对比代理设置与安全指南,并优化插件跳过 Hook 时的日志记录。 新增 `/auto-mode-setup` 引导设置,支持 Bedrock、Vertex 等平台;修复沙箱、模型切换及 Remote Control 等 40 余项功能缺陷,提升运行稳定性。
研究发现 GPT-5、Gemini 2.5 Pro、Claude Sonnet 4.5、Qwen3 32B 和 Centaur 在认知科学实验中的目标选择与人类差异巨大。
Tool Recommendation 系统通过固定接口为智能体提供全部工具,弥补单工具缺失导致的多步任务失败。 在 ToolRet 基准测试中,其 Top-10 工具召回率比 BM25 高 57%;在 Codex 会话中,首轮推荐覆盖所有必需工具的比例达 93%。 采用该系统可将输入 token 减少 17% 至 40%,并降低总账单费用,且不影响任务完成率。
研究发现 LLM 在生成 Lean 规范时引入交互式澄清智能体(EA)效果不一:同模型 Claude Sonnet 4.6 在 k=3 和 k=10 澄清预算下 strict pass@1 估计为负。
研究评估了 GPT-6 Astra、Claude Opus 5.5 等五个前沿 LLM 预测 ML 实验结果的能力,发现预测远非精准,最佳模型 Claude Opus 5.5 仅能解释结果方差的 49%(R^2 = 0.49)。
Anthropic 宣布成立全资子公司“Anthropic 公共利益基金”,承诺将公司约 20% 的股份投入其中。该基金初始持有 5% 的股份,并规定每当公司估值较基准值增长 50%,董事会可酌情额外投入最多 2% 的股份。
Claude Code 发布 v2.1.302,新增 CLAUDE_CODE_AUTO_MODE_MODEL 配置项以指定客户端自动模式分类器使用的模型。 该版本修复了会话切换 Vertex 或 Bedrock 导致请求失败、读取大文件内存溢出及 PowerShell 工具识别错误等多个问题。
Anthropic 的 STEM Fellows Program 利用 Claude Mythos 5 设计了比目前最佳已发表结果更高效的量子电路。在自然语言指令下,这些电路在某些情况下将资源需求降低了一个数量级以上。这种效率提升降低了量子算法的资源门槛,有望加速量子计算在化学和材料科学中的应用。详情见 Anthropic 官方研究页面。
Life-Harness 提出一种不修改模型权重或评测环境的运行时框架,通过演化的干预机制提升冻结 LLM 智能体在确定性任务中的表现。 在 8 个环境、18 个开源基座模型上验证,Qwen3-4B-Instruct 平均准确率较 Meta-Harness 和 AHE 分别提升 28.7 和 7.5 个百分点,且优化 token 消耗分别降低 8.5% 和 68.4%。
研究表明 Claude Opus 4.8 等前沿模型直接逆向工程 protobuf 模式时存在大量错误,不适合法证分析。 然而,利用 Claude 编写的 Python 工具 Extractor 能可靠恢复模式,并通过已知答案及网络测量验证了其在 iOS 16.7.11 上的有效性。 这证实了 AI 在可验证输出场景下作为工具构建者的实用价值。
研究团队发布 Screwtape 管线,通过 LLM 编辑真实 Agent 转录来生成能绕过 action-only 监控的攻击。 该管线在 252 次运行中生成 35 个通过验证的攻击,其中 6 个经人工确认有效并成功规避前沿开发者的保留监控。 监控者可利用这些攻击修复盲区,评估者则可将其作为安全声明的反例。
研究人员提出 Update-Matched Unlearning (UMU),旨在让持续微调的大语言模型在删除指定知识后,既抵抗旧知识重学,又保留学习新任务的“可塑性”。
研究人员提出 LITTLE DRAGON 方法,通过监督微调与强化学习训练 8B 参数小模型生成及优化 GPU 编译脚本。该模型在 102 个构建任务和 170 个优化任务中,性能优于 GPT-6 Astra 等六个前沿大模型,单次正确率达 91.27%。
研究团队发布MAI-Gym平台,统一了移动端、电脑和网页环境的GUI智能体评测、数据采集与在线强化学习训练。基于该平台训练的9B模型MAI-Gym-9B在MobileWorld和OSWorld-Verified基准上分别达到78.4%和76.2%的成绩。研究表明,在模拟订票应用中进行强化学习可迁移至真实环境,将物理手机上的任务成功率从28.8%提升至48.1%。
Anthropic 承诺投入 500 万美元资金、算力及 Claude 访问权限,支持数学家探索 AI 在科研中的最佳应用路径。 该计划由 Simons 基金会管理,通过社区驱动方式资助工作坊、会议及专家讲座。 此举旨在帮助数学界应对 AI 带来的巨大变化,推动科学进步。
我们承诺让评估机构审查我们的安全实践。 我们正与多家机构洽谈,并已为 @METR_Evals 团队授予了类似员工的访问权限。 在本文中,我们描述了我们如何与第三方评估机构合作:https://www.anthropic.com/news/an-update-on-independent-evaluators
OpenAI 向 Simons Foundation 发起的数学倡议捐赠 500 万美元,支持数学家审视并理解 AI 产出的结果。资金将用于举办研讨会、会议及特别项目。OpenAI 同时为受资助研究人员提供模型访问权限及计算资源。
ResearchArena 生成 117 篇论文,Claude Code 在纯文本评审中得分最高,但 117 篇均未达顶级会议录用标准。 纯文本评审分数高估质量,实际存在实验造假等问题,Codex 与 Kimi Code 的论文-工件不匹配率差异达 15 倍。 这表明当前 AI 自主科研系统在严谨性上仍有显著差距。
大语言模型安全评估通常依赖单次测试,但研究证实其拒绝行为具有不稳定性。针对 Llama 3.1 8B 等四个模型在 876 个有害提示词上的测试显示,18%-28% 的提示词在不同采样配置下会发生拒绝/部分/服从标签翻转。