SWE-WhatIf:通过模拟真实用户会话评估编码智能体
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
summary_zh: ELITE 框架通过整合机制而非选择后代,实现编码智能体的无下游评估自改进。在 SWE-bench Pro 上将初始智能体从 60.0% 提升至 85.6%,零候选任务评估。
该研究提出 MemDoctor,将多模态记忆形式化为 Write、Update、Retrieve、Answer 四个阶段,并定义 9 种错误类型。 在 4B 规模模型上,MemDoctor 通过回溯定位并修复源头错误,在 Mem-Gallery 和 MemLens 上的准确率均优于所有 8B 基线,同时也提升了 MuRAG 和 A-Mem 的表现。
Navital Gym 发布 6 个开源环境与 321 个公共任务,涵盖 UPI 支付及印度语客服。 所有任务由确定性规则评分,无语言模型介入。Claude Opus 5.5 解决 315 个任务,Gemini 3.1 Flash-Lite 仅测试两个环境。代码采用 Apache-2.0,任务数据为 CC BY 4.0。
研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。
研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```
研究提出 SilentGuard 框架,将静默 API 故障检测移至工具调用执行层,利用不变量测试拦截违规结果,避免模型幻觉。在 15 个公共研究 API 中发现 11 个存在静默故障,错误计数最高被夸大 691 倍。
对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。
论文提出带风险认证的提示词优化框架,通过统计控制将漏检攻击率限制在用户指定水平 α 以内,最大化良性通过率。 该框架包含 CPS 与 CRISP 两种流程,利用同步上置信界进行认证,并在四个涉及提示注入等数据集上验证了其在不同风险容忍度下的效用提升。
论文提出包含30个决策卡片和83条不变量条款的测试体系,基于Crewroom等11个智能体框架实践构建。 30个卡片分六组分析决策成本,83条中56条已测试、12条推测、15条开放;清单应用示例中30项有11项成立、14项不成立。 该框架用于验证智能体系统边界,未涉及答案质量、成本或其他平台评估排名。
EfficientSkill 是一个两阶段框架,通过技能发现与裁剪压缩提示词,解决反思式优化器导致的 token 膨胀问题。 在 MATH-500、ALFWorld 和 SpreadsheetBench 基准测试中,该框架将 11/12 配置下的输出 token 削减最高达 80%,同时在所有基准上提升平均准确率。
StaleBench 在 892 个真实更新事实中隔离陈旧检索失败,揭示检索指标可能反向评估记忆策略。 无日期展示时,保留策略与全保留对照组在首位返回相同陈述,但读者准确率分别相差 29.5 和 65.6 分;新增 Contamination@5 指标能正确区分策略优劣。 文章发布了数据、冻结评估器及参考基线,被 EACL 2027 Findings 接收。
SG-LegalClarify 是涵盖新加坡法律推理与歧义识别的大规模基准,包含 1,100 道律师撰写的源问题。 该基准含 340 道完整指定和 760 道欠指定问题,共 1,860 个评估实例,采用 IRAC 评估标准评分。 团队评估了 19 个 LLM,发现最佳模型在闭卷条件下仅满足 69.8% 的必填评估项,基准远未饱和。
Omni-Workspace 包含 380 个深度研究风格任务,涵盖四种多模态工作区类型和两个难度等级,用于评估全模态智能体。 18 个代表性模型评估显示,最佳模型平均分仅为 65.93,暴露出多模态上下文膨胀和任务状态漂移等长程执行局限。 该基准推动了全模态智能体在复杂任务自主完成方面的评估与发展。
VLM 规划器在遮挡诱导的部分可观测性下性能骤降,新基准 BW-PO 将现有模型成功率降至 1%。 提出 VLM-as-perceiver 范式,将 VLM 角色限定于局部感知,跨视图证据调和与规划交由外部求解器。 该方法使 Gemma-4-31B 成功率达 97%,Qwen3.5-122B-A10B 达 95%,Gemini-3.1-Pro 达 84%。
SurveyWeave 提出一种智能体架构,将自动综述生成解耦为四个任务,由三个智能体协作完成,并引入 WeaveEval 评估指标。 该框架在全面对比中,比 Codex 高出 8 分,比最强 AutoSurvey 基线高出 6 分。
研究提出标准激活偏好合成(CAPS)框架,通过双重信号评分和归因过滤器,从显式质量标准中生成可归因的偏好数据。 使用 2 万条通用合成偏好对,CAPS 在 IFEval、IFBench 等基准上超越 3.5 万条人工标注数据;在法律任务中,基于公开法条使 Qwen3-8B/14B 提升 4.9 至 6.6 分。 该方法展示了显著的数据效率和领域迁移能力,并构建了 CAPS-Legal 偏好数据集。
ReVision 提出无训练测试时方法,将内在重新审视作为可选动作与搜索、代码执行并行,解决工具增强视觉问答中的答案反转问题。 该方法在六个基准上性能提升1.28%至7.51%,超过Dual-Rollout Combine五项,且推理token使用量与标准工具使用相当。
提出FlashREINFORCE框架,实现无评论家单轨迹异步强化学习,解决长程智能体中的组同步与覆盖问题。 在DeepSeek-R1-Distill-Qwen-1.5B上稳定完成6000次更新,在Qwen2.5-Math-1.5B上以半量rollouts超越GRPO基线1.7个百分点,并成功扩展至Qwen3-30B-A3B模型。
研究团队提出首个LLM智能体经济安全评测基准EconSafeBench,包含828个案例和30期动态交互。 该基准覆盖5类经济场景和4类安全违规,匹配评估用户请求、其他参与者压力及自身绩效目标三种压力源。 对8个LLM模型的静态评测显示整体违规率介于8.5%至40.6%之间,证明在部署至高风险经济环境前需强化安全对齐与严格评测。
研究人员提出首个多轮对话投资建议检测框架,针对 LLM 金融助手的隐性建议风险。 该方法采用模块化合成数据生成管线,通过 LLM-as-a-Judge 进行评估,结果显示上下文建议检测比顺序案例更具挑战性。 这项工作为高风险合规领域可扩展的护栏开发奠定了基础。
OpenClaw 发布 2026.11.5 更新,实现 Gateway 重启后保留队列消息及会话状态,并确保 Doctor 或 Gateway 启动失败时自动回滚激活的更新。 新增 Telegram 交互组件渲染支持,优化内存索引重建可靠性,修复 Claude CLI 回退机制被主账户阻塞的问题,同时调整第三方 harness 会话控制接口。
OpenAI 正与北约及盟国网络机构合作,帮助受信任的防御者发现漏洞、测试补丁并保护关键系统。
开发者通过在 AgenticRetrieveStream 请求中添加 memoryConfiguration,即可将 AgentCore 记忆功能与知识库结合,实现多租户场景下的用户数据隔离。
OpenAI 发布 20+ 医疗插件并升级 Computer-Use 智能体,以提升临床答复质量。 @AbridgeHQ 与 @CVSHealth 等机构已在先验授权、转诊及出院计划等环节应用相关模型。 此举旨在帮助医疗团队连接医学证据与实际工具,从而减少系统操作耗时,增加患者护理时间。
约88%的AI试点未能进入生产环境,多智能体协调属于分布式系统问题。斯坦福HAI研究表明,当协调开销超过收益时,双模型协作表现可能不如单模型。 该文章将协调模式分为两层:层级1由用户定义确定性路径,层级2由LLM在运行时自主决定路径。十步95%可靠性对应59.9%端到端成功率,每步依赖都会放大风险。 文章还指出节拍时间、安全边界及换班周期等制造业因素会直接影响架构设计。
金融服务平台 Duco 使用 Amazon Bedrock 和 Amazon Bedrock AgentCore 重构智能体技术栈,以应对传统机器学习的局限。系统采用多租户隔离架构和按需加载的 MCP 技能设计,将上下文占用降低 90%,使对账部署速度提升 10 倍,一家全球银行的入驻成本降低了 70%。
推荐理由:Duco 在受监管的多租户环境中落地智能体系统,提供了 MCP 按需加载工具与严格隔离的具体工程架构。
MoEngage 利用 Amazon Bedrock AgentCore 和 MCP 架构推出了 Merlin AI 智能体系统。该系统支持在单次对话中完成活动策划与数据分析,帮助客户提升营销效率。
TokenEconomizer是一款来自UC Berkeley和Microsoft Research的开源插件,旨在通过从历史会话中学习来降低AI编码代理的成本。在不修改代理或模型的前提下,该工具通过微技能、工具修剪和故障干预机制减少了20%以上的token浪费,任务成功率保持稳定。
NVIDIA 推出扩展 CUDA-X 库(含 cuPhoton、cuPotential、cuSpa),助力 AI 智能体加速天文学、聚变、制药及生物研究。 cuPhoton 将黑洞数据处理从数月缩短至 8 分钟;cuPotential 提升模拟速度 3 倍;开源 cuSpa 较 CPU 提速 900 倍。 这些加速使科学家能分析更大数据集,建模更复杂系统,实时交互引导模拟过程。
Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。
Amazon Bedrock Guardrails 发布编写拒绝主题(Denied Topics)的最佳实践指南。文章指出以“金融”“法律”等主题领域命名会导致误拦截合法查询,建议围绕用户的具体意图和动作进行重构。
推荐理由:原文拆解了四类常见错误并给出改写示例,帮助使用者规避误拦截和漏拦截。
Amazon Bedrock Managed Knowledge Base 新增表格搜索,支持通过 Agentic RetrieveStream 接口解析 CSV、XLSX 和 XLS 文件。 该功能在隔离沙箱中运行代码,结合文档事实回答需跨行计算或查值的分析问题。 此功能适用于与文档共存的表格文件,无需定义 schema,但涉及数据仓库级连接时仍建议使用 BI 工具。
OpenAI 推出面向医疗行业的 ChatGPT 更新,包括支持操作软件的计算机使用智能体、改进后的临床答案以及可跨医疗软件协作的新医疗插件。
HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。
DualMem 框架与 RoleMemo 数据集通过解耦事实认知与角色驱动洞察,提升角色智能体长期对话的一致性。 4B 参数模型经 SFT 和 RL 训练,在持续角色保真度上超过 DeepSeek-V3.2 驱动的无角色摘要框架。 已被 EMNLP 2026 Findings 接收。
针对手术规划评估混淆任务完成与协议依从性的问题,提出基于专家规则的新框架。 现有相似度指标系统失效,惩罚合规但偏离参考轨迹的方案。 评估 Video-LLMs 发现视频-状态接地不可靠,结构知识注入带来一致收益。
Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。
研究人员推出 CTF-Dojo 平台及自动化工具 CTF-Forge,包含 658 个容器化 CTF 挑战,支持可验证反馈训练。 基于 486 条高质量轨迹训练 LLM 智能体,在 InterCode-CTF 等基准上取得最高 9.9% 绝对提升。 最佳 32B 模型 Pass@1 达 31.9%,超越 DeepSeek-V3-0324 等前沿模型,确立开源新纪录。
Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。