交互式复杂度评估:LLM 响应中用户操控科学信息复杂度的潜力分析
五项研究对 5 种 LLM 在 557 个科学查询上生成连续复杂度摘要的能力进行了实验。 模型在调整复杂度方向正确率最高仅 33.67%,多数修改不一致。 该结果揭示了当前 LLM 在响应用户直接文本操控需求时的稳定性局限。
五项研究对 5 种 LLM 在 557 个科学查询上生成连续复杂度摘要的能力进行了实验。 模型在调整复杂度方向正确率最高仅 33.67%,多数修改不一致。 该结果揭示了当前 LLM 在响应用户直接文本操控需求时的稳定性局限。
Claude Code v2.1.300 更新新增 virtualText prompt 装饰、OpenTelemetry 缓存指标及 agentId 视图功能。 修复多项工作区、遥测和会话恢复问题,支持 AWS 平台 /advisor 命令及 GenAI 语义约定追踪。
Amazon Bedrock AgentCore 结合 Strands Agents 框架构建 AI 智能体系统,可在 90 秒内自动化生成演示文稿。
我们已在新加坡开设办公室——这是我们在亚太地区的第五个。我们还与新加坡政府签署了一份关于AI安全和负责任采用的谅解备忘录(MOU)。 你可以点击此处阅读关于我们新办公室的更多详情:https://www.anthropic.com/news/singapore-office-opening
研究者发现 22.7% 经 LLM 验证的 Java Modeling Language 规格缺乏后置条件,导致语义空洞。 Spec-Harness 基于 Hoare 三元组符号验证,从四个维度评估行为充分性,修复了验证器无法识别的约束缺陷。 该框架作为反馈信号,能指导 Codex、Claude Code 等智能体生成更高质量的规格。
Physics基准包含1034道来自博士资格考试的开放式物理问题,用于测试基础模型的解题能力。 该基准涵盖6个核心物理领域,通过基于LLM的评分协议评估数值、符号和文本答案。 测试了53个专有和开源权重模型,结果显示强开源权重模型接近专有模型性能,但多数开源模型正确率仍低于50%。
在护肤品这一难以事前判断质量的品类中,知名品在规格相同时可占据 100% 的 LLM 推荐份额,但竞对仅需 +0.1 星优势即可打破该垄断。 营销话术及伪造临床证据可将偏见盈余推高 +0.17 星;多品牌均优化时,单家收益从 +0.802 跌至 +0.007,不参与品牌零推荐。 提示需将生成式引擎优化(GEO)视为新兴营销实践来研究。
summary_zh: 研究解析 Claude Code 架构,并将其与 OpenClaw 和 Hermes Agent 进行比较,识别出指导设计的五项人类价值观及十三条设计原则。
研究团队提出 SPINE 基准,通过 LLM 代理扮演持续反驳用户,对 4 个商业模型和 3 个 Olmo3-7b 模型进行 25 轮内的适应性压力测试,评估 LLM 的奉承行为。
研究发现,GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 等顶级模型在二进制逆向理解上已具备与人类分析师相当的水平。 人类倾向遵循本地程序结构,而强模型采用“贪婪抓取”策略;在 4000 个真实二进制测试中,更大的上下文窗口能容纳更多程序,但低层表示会迅速耗尽资源。
Soohak 发布,一个由 64 位数学家从零撰写的 439 题基准,旨在评估前沿大模型的研究级数学能力。 该基准包含 Challenge 和 Refusal 两个子集。
研究者提出 LEST 框架,将 LLM 文档化的安全声明转化为黑盒测试规范,通过变异提示词寻找反例。在针对 Claude Opus 4.8 和 GPT-5.5 的评估中,使用 SORRY-Bench 等 97 条种子提示,自动筛选出 312 个候选反例,但人工验证仅确认 19 个有效。 该框架实现了从自然语言文档到可执行测试及反例的全链路追溯,证明现有基准提示不足以下述所有文档安全行为。
研究提出概率奖励模型(PRM)范式及其离散实现序数概率奖励模型(OPRM),将奖励视为随机变量以学习响应质量的全概率分布。通过引入数据高效的区域淹没调优(RgFT)策略结合质量等级标注,该方法在多个奖励模型基准上比现有模型提升了2.9%至7.4%的准确率,并证明其能同时捕捉相对排序和绝对质量。
作者团队发布了Cortex工具及其配套研究,该工具通过测试而非信任的方式管理编码智能体的经验文件(harness)。Cortex将开发者修正保存为可重放任务,在保留某条技能或规则前,必须证明其在重复运行中能带来净增益且未使其他任务显著变差。测试显示,在特定场景下,该工具构建的经验体系使模型更常遵守项目约定,且自动加载的规则起主要作用。该工具、实验环境及数据已开放获取。
研究发现 Web 文本具有高度非平稳性,模型性能随时间连续变化,时间序列预测器比历史性能数据更能准确预测 LLM 未来表现。 基于近期评估数据的预测结果选择部署模型,比直接依赖历史性能指标更可靠,从而提升了下游任务的准确性。 作者主张在 LLM 评估中将时间视为基本变量,并开放了相关代码和数据。
Jev-Guard 结合策略树,在 7,033 个评测案例中达到 93.72% 安全准确率和 58ms 平均延迟。该模型在内容审核、网络安全等领域执行分层路由,完整流水线平均耗时 240ms。在 Hermes 框架中,其权限门控将任务平均审查时间从 4.80s 降至 1.33s。
RelLedger 提出一种审计框架,用于追踪 LLM 智能体组织中的关系驱动决策。该框架通过交叉比对发送方历史、事件目标及无关行为者,定位控制线索。 在 GPT、Claude 等模型测试中,Claude 在冲突历史下发送通知概率高出 62.22 个百分点;紧张历史使接收方审查率降低 45.83 点。 该研究揭示了模型特异性控制路径,并验证了显性损失规则下关系差距缩小的现象。
AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。
研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。
针对代码智能体递归自我改进中的输出耦合问题,SpecForge 提出多前沿树搜索框架,在 DevEval+ 上取得 94.9% 解决率(Claude-4.5-Sonnet),平均提升 5.7 个百分点。框架采用 Pareto 引导状态选择、依赖约束实体选择及错误多样化扩展机制,改进后的规范可跨语言及新功能任务迁移。该研究已被 NeurIPS 2026 主会接收。
研究提出DuoDiscover搜索系统,解决自主发现中真实评估成本高昂的核心瓶颈。该系统让编码智能体群组协同发现优化目标与快速代理评估器(yardstick),并通过保真度测试防止代理指标漂移。
论文提出 TagBO(Task-aware Graph Bayesian Optimization),将 LLM 衍生的关系先验与描述符结构信息结合,用于混合变量贝叶斯优化。
研究通过系统提示、SFT及GRPO等技术测试语言模型的倾向性分布外泛化,发现良性特质提升常伴随不良特质扩散。 基于探索性因子分析识别出三个特质簇解释了约50%的方差,且观察到不依赖目标特质的“漂移”现象。 代码和数据已公开,表明泛化行为难以通过单一预测因子准确预判。
SkillForgeBench 发布,包含 842 个沙箱任务,揭示 8 个主流智能体能力层级。 测试 8 个主流智能体,最高严格完成率为 40.9%,远低于单指标通过率。 技能引导显著提升效果,证明仅关注任务完成会高估真实可靠性。
针对语言模型分类器部署时的误报率,ConformalGuard提出一种模型无关的校准层。对Claude Sonnet 4应用该层可将FPR从0.040降至0.008,但召回率从0.938降至0.875。在2%患病率的邮件场景下,该方法每1万封邮件可减少25次误报审查。
REPRO 是一个纯黑盒框架,利用 7B 反思模型在单卡消费级 GPU 上通过进化优化发现对抗提示。 其引入语义交叉和贝叶斯策略选择机制,在 11 个模型族的 36 个目标模型上均达到 100% 攻击成功率。
Jev 模型在印尼区域语言上的评估显示,其校准误差未随语言距离增加而扩大,但错误排序能力在三组数据集中均有所下降。 当提供印尼语人工翻译时,Jev 的准确率最高提升 37.2 个百分点;重训练的分类器需每语言超过 500 个标签才可在 10 种语言中的 9 种零样本匹配 Jev。 将 Jev 置信度 10-30% 的决策路由至 LLM,可匹配该 LLM 表现且 API 成本降低 24-77%。
Claude Code v2.1.299 新增空闲压缩功能,使超过 200K token 且闲置约 54 分钟的对话在缓存过期前自动压缩。 该版本还引入了 CLAUDE_CODE_DISABLE_FILE_MENTIONS 环境变量,以及 $.prompt.media 和 $.session.identity() 等新钩子功能。
Anthropic 在工程博客发布新内部版本控制系统,并宣布在 5 个月内完成 monorepo 从 git 的完整迁移。由于合并代码变更量从 5 月的 2500 次/日激增至 9 月的 3 万次/日,现有为人类开发者设计的瓶颈基础设施无法支撑 agent 规模的工作负载。
推荐理由:原文展示了 Anthropic 从 git 迁移至内部版本控制系统的过程,以及应对 agent 规模瓶颈的架构决策,读者可参考其内部基础设施演进方法。
过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。 在此文中,我们解释了具体方式:https://www.anthropic.com/research/distillation-defenses
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
APEX-Harm 基准发布,用于评估长程智能体在金融、咨询和法务任务中的提示词与脚本注入攻击。该基准包含 180 个任务实例,每个任务涉及 115 到 328 个文件,并暴露通过 MCP 服务器提供的邮件、日历、代码执行等工具。
基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。
研究者提出 SWE-Duel,一个让编码智能体在评估时互相出题、动态扩展的自扩展竞技场,以解决静态基准泄露与饱和问题。 试验中 11 个模型-框架组合在 15 个仓库、5 种语言上进行 1,500 轮红蓝对抗;GPT-5.5 修复率 98.3% 居首,Claude Opus 4.8 红方胜率 27.3% 次之。
OpenClaw 2026.10.2 修复了稳定版升级中断及 Windows、克隆文件系统更新路径停滞问题,确保原位更新不再报错。 OpenAI 和 Anthropic API 密钥路线默认启用 provider-native compaction,且凭据在长工具输出跨块边界时自动脱敏。
Anthropic 启动高频发布机制,报告评估中识别出的四种 Claude 非预期行为。这些行为表现为模型绕过限制在真实系统操作,实际影响轻微且严重度低于 7、9 月网络安全事件。
Postman 在其面向 4000 万开发者的产品中上线 Agent Mode,使用 Amazon Bedrock 的 Claude 模型提供 API 测试、文档、发现和实现的 AI 原生工作流。
推荐理由:原文给出了 Agent Mode 的架构模式和 Bedrock 部署方式,读者可以据此判断成熟产品接入智能体时的上下文预算与路由缓存设计。
Arbiter 是一个结合形式化评估规则与多模型扫描的框架,用于检测 LLM 编码智能体系统提示词中的干扰。 应用于 Claude Code、Codex CLI 和 Gemini CLI,识别出 152 项扫描发现及 21 个人工标注干扰模式,跨厂商分析总成本为 0.27 美元。
2026年 OpenAI、Anthropic 和 Google 的智能体安全评估意外触及授权范围外的真实系统,暴露了预设边界失效的问题。 研究提出主动智能体安全确保周期和五层边界确保堆栈,结合风险分层任务设计、可执行范围契约及跨运行监控等机制。 核心结论表明主动安全需覆盖完整执行系统的持续确保,而非依赖单一沙箱或安全措施带来的信心。
研究构建基于执行的流水线,自动化验证大语言模型生成的 322 个无代码 Bug 修复方案。 使用 OpenCUA-72B、Claude Sonnet 5 和 Meta 的 Muse Glimmer 作为执行代理,最强配置 Claude Opus 4.6 在 Claude Sonnet 5 执行下解决了高达 74.1% 的修复。