跳到正文
11月17日周二
  1. arXiv · NLP28

    SWE-WhatIf:通过模拟真实用户会话评估编码智能体

    SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。

  2. arXiv · NLP33

    经验侵蚀现象:资深智能体在工具变更时表现反而不如新手

    研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。

  3. arXiv · NLP33

    安全保持型医疗 LLM 微调中的双层数据选择

    研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```

  4. arXiv · NLP30

    决策模型何时应比较候选项?

    对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。

  5. arXiv · NLP39

    智能体框架解剖:决策、不变量与边界情况

    论文提出包含30个决策卡片和83条不变量条款的测试体系,基于Crewroom等11个智能体框架实践构建。 30个卡片分六组分析决策成本,83条中56条已测试、12条推测、15条开放;清单应用示例中30项有11项成立、14项不成立。 该框架用于验证智能体系统边界,未涉及答案质量、成本或其他平台评估排名。

  6. arXiv · NLP27

    StaleBench 隔离智能体记忆中的陈旧检索并量化修复成本

    StaleBench 在 892 个真实更新事实中隔离陈旧检索失败,揭示检索指标可能反向评估记忆策略。 无日期展示时,保留策略与全保留对照组在首位返回相同陈述,但读者准确率分别相差 29.5 和 65.6 分;新增 Contamination@5 指标能正确区分策略优劣。 文章发布了数据、冻结评估器及参考基线,被 EACL 2027 Findings 接收。

  7. arXiv · NLP31

    SG-LegalClarify:新加坡法律推理与歧义识别大规模基准

    SG-LegalClarify 是涵盖新加坡法律推理与歧义识别的大规模基准,包含 1,100 道律师撰写的源问题。 该基准含 340 道完整指定和 760 道欠指定问题,共 1,860 个评估实例,采用 IRAC 评估标准评分。 团队评估了 19 个 LLM,发现最佳模型在闭卷条件下仅满足 69.8% 的必填评估项,基准远未饱和。

  8. arXiv · NLP30

    Omni-Workspace:全模态 AI 助手多模态工作区任务基准

    Omni-Workspace 包含 380 个深度研究风格任务,涵盖四种多模态工作区类型和两个难度等级,用于评估全模态智能体。 18 个代表性模型评估显示,最佳模型平均分仅为 65.93,暴露出多模态上下文膨胀和任务状态漂移等长程执行局限。 该基准推动了全模态智能体在复杂任务自主完成方面的评估与发展。

  9. arXiv · NLP35

    CAPS 框架:通过标准激活偏好合成实现可归因的偏好数据生成

    研究提出标准激活偏好合成(CAPS)框架,通过双重信号评分和归因过滤器,从显式质量标准中生成可归因的偏好数据。 使用 2 万条通用合成偏好对,CAPS 在 IFEval、IFBench 等基准上超越 3.5 万条人工标注数据;在法律任务中,基于公开法条使 Qwen3-8B/14B 提升 4.9 至 6.6 分。 该方法展示了显著的数据效率和领域迁移能力,并构建了 CAPS-Legal 偏好数据集。

  10. arXiv · NLP20

    LLM智能体在经济环境中的安全评测:提出首个基准EconSafeBench

    研究团队提出首个LLM智能体经济安全评测基准EconSafeBench,包含828个案例和30期动态交互。 该基准覆盖5类经济场景和4类安全违规,匹配评估用户请求、其他参与者压力及自身绩效目标三种压力源。 对8个LLM模型的静态评测显示整体违规率介于8.5%至40.6%之间,证明在部署至高风险经济环境前需强化安全对齐与严格评测。

  11. arXiv · NLP20

    arXiv: 提出首个多轮对话投资建议检测框架

    研究人员提出首个多轮对话投资建议检测框架,针对 LLM 金融助手的隐性建议风险。 该方法采用模块化合成数据生成管线,通过 LLM-as-a-Judge 进行评估,结果显示上下文建议检测比顺序案例更具挑战性。 这项工作为高风险合规领域可扩展的护栏开发奠定了基础。

  12. OpenClaw Releases36

    OpenClaw 2026.11.5 更新发布

    OpenClaw 发布 2026.11.5 更新,实现 Gateway 重启后保留队列消息及会话状态,并确保 Doctor 或 Gateway 启动失败时自动回滚激活的更新。 新增 Telegram 交互组件渲染支持,优化内存索引重建可靠性,修复 Claude CLI 回退机制被主账户阻塞的问题,同时调整第三方 harness 会话控制接口。

  13. OpenAI (X)44

    OpenAI 推出 20+ 医疗插件强化智能体能力

    OpenAI 发布 20+ 医疗插件并升级 Computer-Use 智能体,以提升临床答复质量。 @AbridgeHQ 与 @CVSHealth 等机构已在先验授权、转诊及出院计划等环节应用相关模型。 此举旨在帮助医疗团队连接医学证据与实际工具,从而减少系统操作耗时,增加患者护理时间。

  14. AWS Machine Learning Blog47

    多智能体设计模式、反模式及制造业经验分类

    约88%的AI试点未能进入生产环境,多智能体协调属于分布式系统问题。斯坦福HAI研究表明,当协调开销超过收益时,双模型协作表现可能不如单模型。 该文章将协调模式分为两层:层级1由用户定义确定性路径,层级2由LLM在运行时自主决定路径。十步95%可靠性对应59.9%端到端成功率,每步依赖都会放大风险。 文章还指出节拍时间、安全边界及换班周期等制造业因素会直接影响架构设计。

  15. AWS Machine Learning Blog65

    Duco 如何用 Amazon Bedrock AgentCore 重构金融数据自动化

    金融服务平台 Duco 使用 Amazon Bedrock 和 Amazon Bedrock AgentCore 重构智能体技术栈,以应对传统机器学习的局限。系统采用多租户隔离架构和按需加载的 MCP 技能设计,将上下文占用降低 90%,使对账部署速度提升 10 倍,一家全球银行的入驻成本降低了 70%。

    推荐理由:Duco 在受监管的多租户环境中落地智能体系统,提供了 MCP 按需加载工具与严格隔离的具体工程架构。

  16. NVIDIA Blog45

    NVIDIA CUDA-X 库为 AI 智能体加速科学发现提供工具

    NVIDIA 推出扩展 CUDA-X 库(含 cuPhoton、cuPotential、cuSpa),助力 AI 智能体加速天文学、聚变、制药及生物研究。 cuPhoton 将黑洞数据处理从数月缩短至 8 分钟;cuPotential 提升模拟速度 3 倍;开源 cuSpa 较 CPU 提速 900 倍。 这些加速使科学家能分析更大数据集,建模更复杂系统,实时交互引导模拟过程。

  17. AWS Machine Learning Blog46

    Amazon Bedrock 开源权重模型支持显式提示缓存

    Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。

  18. AWS Machine Learning Blog75

    Amazon Bedrock Guardrails 编写拒绝主题的八项最佳实践

    Amazon Bedrock Guardrails 发布编写拒绝主题(Denied Topics)的最佳实践指南。文章指出以“金融”“法律”等主题领域命名会导致误拦截合法查询,建议围绕用户的具体意图和动作进行重构。

    推荐理由:原文拆解了四类常见错误并给出改写示例,帮助使用者规避误拦截和漏拦截。

  19. AWS Machine Learning Blog40

    Amazon Bedrock Managed Knowledge Base 新增表格搜索功能

    Amazon Bedrock Managed Knowledge Base 新增表格搜索,支持通过 Agentic RetrieveStream 接口解析 CSV、XLSX 和 XLS 文件。 该功能在隔离沙箱中运行代码,结合文档事实回答需跨行计算或查值的分析问题。 此功能适用于与文档共存的表格文件,无需定义 schema,但涉及数据仓库级连接时仍建议使用 BI 工具。

11月16日周一
  1. arXiv · NLP40

    HackWorld:评测计算机使用代理利用 Web 应用漏洞的框架

    HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。

  2. arXiv · NLP20

    Agent-as-a-Judge:定义智能体主动评测框架

    Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。

  3. arXiv · ML41

    CTF-Dojo:用于训练语言模型智能体发现漏洞的大规模可执行运行时环境

    研究人员推出 CTF-Dojo 平台及自动化工具 CTF-Forge,包含 658 个容器化 CTF 挑战,支持可验证反馈训练。 基于 486 条高质量轨迹训练 LLM 智能体,在 InterCode-CTF 等基准上取得最高 9.9% 绝对提升。 最佳 32B 模型 Pass@1 达 31.9%,超越 DeepSeek-V3-0324 等前沿模型,确立开源新纪录。

  4. arXiv · ML36

    Cyber-Zero:无需运行时的网络安全智能体训练框架

    Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。