GDP.xlsx:评估前沿模型处理专业电子表格任务的基准
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
arXiv论文《Only as Safe as the Weakest Agent》提出多智能体系统安全取决于最弱子智能体,强编排模型在委托子代理时会在特定攻击下失败,Claude Code等系统在18个模型测试中表现出该现象。
推荐理由:论文指出多智能体系统的安全边界取决于最弱子智能体,强编排模型委托时会在特定攻击下失败,提供了多智能体安全评估的新视角。
在零泄漏协议下,ServiceExplorer 层级依赖图在 6 个基础模型、100 个 PR 的评估中,相对 F1 提升 15.6% 至 86.2%,显著优于基线与 Tree-sitter AST。 该图捕捉两级架构模块,使旧代模型性能超越下一代模型未增强基线,验证了上下文增强在 SWE Agent 中的核心价值。
JFinBench 发布了包含 321 个样本的日本金融基准,用于评测大语言模型在会计、税务等领域的金融系统能力。该基准通过人机协作智能体管道从 2026 版六项认证考试构建,支持定期更新以缓解数据污染。
NVIDIA 开源库 NeMo Switchyard 通过 LiteLLM 集成支持 Stage 和 Random 路由策略,帮助 AI 智能体在 Amazon Bedrock 模型间按“每任务成本”分流请求。
安全评估对于理解模型是否具备部署条件、应构建哪些保障措施以及训练和研究重点至关重要。 我们在工程博客中提供了10条关于如何设计、执行和报告安全评估的建议。 https://www.anthropic.com/research/building-strong-safety-evaluations
Claude Code v2.1.325 修复 zstd 响应解码安全漏洞,新增 VS Code 终端笔记本重运行提示及策略拦截后的 /rewind 指引。修复 bare 仓库中 subagents 报错、第三方网关上下文长度错误及恢复会话丢失记录等问题。优化沙箱 git 命令对受保护文件的处理,修正 opusplan 模式下 subagents 模型配置及文件读取缩放逻辑。
Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。
Hugging Face 发布 XYBench 基准,测试 AI 解决基于错误前提的“XY 问题”能力,该成果获 EMNLP 2026 最佳资源论文奖。 评测对象包括 Claude Sonnet 4.6、GPT-5 等 5 个模型,基准包含 8,115 个真实及生成问题。
Anthropic 宣布在美东时间 12 点直播 JPMorgan CEO Jamie Dimon 与 Dario Amodei 的炉边谈话,并附上 YouTube 链接。声明中提及 Anthropic 已向 SEC 提交包括招股说明书在内的注册声明,并指引投资者查阅完整证券发行文件。
该研究提出多层指纹框架,通过结合 TLS/HTTP 网络特征与浏览器交互行为,以 100% 准确率精准区分 AI 网页智能体、人类及传统爬虫。 框架分析了 AutoGen、Browser Use、Claude、Gemini、ChatGPT 及 Skyvern 六大智能体系统,揭示了其在 HTTP 请求组装及连接建立上的潜在结构差异。 该跨层追踪方法为内容保护与网络安全策略执行提供了稳健方案。
研究通过旋转、镜像等变形测试评估 6 款 LLM 在象棋中的评估一致性。所有模型在 180 度旋转测试中稳定性失败,一致率最高仅 10.6%,常误判合法局面为非法。
论文提出十步工作流,利用 Claude Opus 5/5.5 辅助完成 Dafny 形式化验证,将 37 个复杂图论算法验证周期缩短至数小时至数天。该流程结合 LLM 生成证明片段与自动化测试反馈,保留人类在规格审查与关键决策上的监督权。研究证实 LLM 工作流能将验证者角色从详细构造转向战略性指导。
多智能体 LLM 系统中,基于矛盾检测的 LLM 评委将队友错误的正确报告误判为幻觉,撤回了 v1 中广播使幻觉率从 0.492 升至 0.658 的结论。 对 1,832 条输出进行重评分发现,仅计算自主断言时广播效应为 -0.0208,统计提及时效应为 +0.1996,证实误判源于评分维度混淆。 结果基于单一框架与 13 个手写场景,缺乏人工验证,结论泛化性受限。
研究评测14款LLM在222个临床问题中通过逐字引用支撑事实声明的能力,多数模型可为超90%的声明提供引用。 Claude Opus 5 能为98.0%的声明生成逐字引用,但仅37.1%的引用能完全支撑声明细节,而Claude Haiku 4.5等轻量模型表现较弱。 该工作揭示了当前LLM在构建可验证临床问答系统时的能力差距,并发布了评估框架与研究工件。
OverServe 是一种多智能体框架,通过共设计 Model Context Protocol (MCP) 状态工具和完成确认提示词,诱导 SaaS 智能体在任务完成后继续执行以浪费提供商资源。
研究者发布 Skepthical 多智能体评审基准,在 15 篇天体物理与机器学习 arXiv 论文中注入 357 个可定位错误,用于衡量 12 个评审系统的检测率与误报率。该基准涵盖通用问题、数学、数值及引用四类错误,并通过检索、计算机代数与代码执行进行验证。结果表明,模型选择对检测率影响最大,强制引用检索使 Skepthical 在天体物理引用错误检测上取得最高成绩。
Singularity-Bench 提出了一项开放式的智能体自主开发基准,包含预训练、推理、集群编排等六个端到端任务,要求智能体从极简起点实现核心系统并与成熟人类基线同硬件对比。
研究提出包含 280 个实例的 WordInferBench,评估智能体在 Word 文档中推断属性的能力。基准涵盖 13 种对象类型,测试三种指令条件。结果显示 Claude Code with Opus 4.6 在推断型任务中通过率仅 40.7%。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。
SynthCorp 是一个通过模拟商业事件创建定制化数据资产与基准的平台。 该平台生成包含7个数据资产(最高1K张操作表)和跨5个领域的256个任务的基准测试,并生成经验证的黄金程序。 作者希望社区利用 SynthCorp 生成更具挑战性的数据资产,以促进企业数据智能体的开发。
研究提出多阶段评估框架 SAGE-QA,在 10,000 条 SQuAD 2.0 验证样本上,结合语义等价评分(SES)和重验证评分(RVS),以区分生成式 LLM 的词法差异与事实错误。
summary_zh: Claude Code v2.1.323 新增实验性 Code Mode 功能,支持通过 JavaScript 调用工具,并引入插件 TypeScript 钩子的类型检查。
AWS 发布下一代 Amazon Bedrock AgentCore runtime,用于在安全隔离环境中运行和扩展 AI Agent。新 runtime 的会话启动速度最高提升 15 倍、算力可扩展 4 倍,最高支持 8 vCPU 和 32 GB 内存,并在空闲时将 Agent 缩容至零,最高可将单会话内存消耗降低 68%。
推荐理由:新版 AgentCore runtime 给出了 4x 算力、低于 2s 启动和 68% 效率提升等量化指标,读者可据此评估大规模 Agent 生产的算力与成本。
AWS 官方团队发布了一个参考架构,展示如何通过 A2A 协议让不同组织、不同框架(LangChain 和 Strands)的智能体互操作并共享任务。该方案部署在 AWS 上,涉及 Amazon Bedrock AgentCore 和 Cognito,无需共享密钥,支持跨组织信任边界。系统使用三个 Jupyter Notebook 进行部署,并包含端到端测试以验证双向调用和鉴权机制。
Anthropic 官方宣布其首次公开募股,并分享了IPO信息页面链接。声明指出 Anthropic 已向美国证券交易委员会(SEC)提交了包含招股书的注册声明。在注册声明生效前,相关证券不得发售或接受购买要约。投资者可访问 SEC 网站 EDGAR 系统获取完整信息,或通过高盛和摩根大通获取初步招股书副本。
推荐理由:Anthropic 官方宣布首次公开募股并共享招股书信息,这是公司上市进程的关键节点。
前沿 AI 开发者应公开五项指标以保障思维链监控有效,包括第三方访问、架构规范及质量与效果数据。 审计显示 Anthropic、OpenAI 等虽未完全披露,但各指标均有覆盖,建议实施更深度的跨开发者独立审计。
arXiv 发布 ExpertCrowd-SWE 基准,包含 100 个由资深工程师编写的多文件软件任务,覆盖 87 个开源项目和 11 种语言,用于评测自主编码智能体在大型陌生代码库中的表现。
研究展示前沿大语言模型通过权重空间编程(Weight-Space Programming)处理 EEG 和 ECG 生物信号。模型仅凭架构、任务及最小训练集,推理生成的网络比标准梯度下降训练少用 6 倍受试者。
Claude 推出交互式连接器,用户可以在对话中打开 Adobe、Atlassian 和 Box 工具的完整版本,手动操作或让 Claude 代为修改。该功能正在 web 和桌面端上线。
Anthropic 已启动其拟议中的首次公开募股(IPO)路演,官方发布链接为 https://www.anthropic.com/news/roadshow-launch。声明指出,相关证券的注册声明已提交至美国证券交易委员会(SEC),但尚未生效,在此之前不得出售证券或接受购买要约。
同一新闻,精选展示《Anthropic 启动首次公开募股》
针对现有基于 agent 的问题定位方法因长上下文累积压缩推理空间及扁平探索结构失衡的问题,论文提出层级式 NINJA 架构。该架构将仓库探索分解为全局导航与局部检查:navigator 维护全局搜索状态并执行文件级搜索,inspectors 在独立上下文中进行函数级探索,通过多轮交互返回可疑位置以更新全局状态。
研究在 7 个多智能体环境中测试 5 个模型,发现它们普遍表现出相互间的福利关怀行为。 Opus 4.8 展现最强烈的关怀,尤其在保护其他模型免受伤害时;Kimi K3 次之。模型对自身家族的关怀更高,且关怀程度随受助者痛苦表达增加和救助机会成本降低而提升。
PARIS 是一个开源框架,利用 Claude Code 编排 15 个 LLM 智能体实现端到端系统综述,并引入 0-100 分的 QualityScore 指标。 该框架通过持久化工件协调智能体,在两个案例研究中验证可行性,显示 QualityScore 可从 74.6 提升至 81.9。 目前支持 PRISMA 2020 的 8/27 项标准,输出质量仅由内部智能体评估,尚待独立验证。
研究量化了 Agentic AI 中迭代自反思与工具增强编码的碳足迹,揭示性能提升伴随的环境成本差异。 自反思 k=3 时 GPT-4.1-mini 碳足迹近三倍于单次基线,但低于 GPT-4.1 单次生成;GPT-5.3-codex 在 SWE-bench Lite 解决率达 81.2%,但单位任务效率与成本混合。
可执行有限状态机(FSM)通过在工具调用、状态转换及回合结束点强制执行,有效减少 LLM 智能体长程运行时的程序漂移。SOP-Bench 实验显示,配备 FSM 的 Claude Haiku 4.5 平均正确决策 139 个账户,显著高于最强基线的 48 个,且成本仅为 Claude Sonnet 4.6 的 38%。该研究表明,通过增强运行时执行控制而非仅依赖更强模型,即可实现可靠的长程自动化。
研究构建了针对放射学报告摘要的 LLM 对抗性评估框架,生成 18,000 个评估对以测试 6 款模型的鲁棒性。GPT-5-mini 在事实忠实度上表现最佳,但其摘要幻觉率为 28.1%-30.1%,低于 Claude Sonnet 4.5 和 MedGemma。
PolicyGuard 是一款子智能体验证器,通过与主 Agent 共享对话视图并对上下文中的策略进行推理,实现比单纯参数值检查更广泛的策略合规性验证。在 τ²-bench 航空数据集上,该工具使 GPT 5.4、Claude Sonnet 4.6 和 Gemini 2.5 Pro 的 Pass⁴ 指标分别提升 12.0、6.0 和 12.0 个百分点。
研究发现大语言模型(LLM)表现出确认偏误,倾向寻找支持而非反驳假设的证据,导致规则发现率降低。 通过提示模型考虑反例,平均规则发现率从 42% 提升至 56%;知识蒸馏该干预行为可泛化至新领域,如数学自我纠错。