跳到正文
11月16日周一
  1. arXiv · NLP40

    HackWorld:评测计算机使用代理利用 Web 应用漏洞的框架

    HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。

  2. arXiv · NLP20

    Agent-as-a-Judge:定义智能体主动评测框架

    Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。

  3. arXiv · ML41

    CTF-Dojo:用于训练语言模型智能体发现漏洞的大规模可执行运行时环境

    研究人员推出 CTF-Dojo 平台及自动化工具 CTF-Forge,包含 658 个容器化 CTF 挑战,支持可验证反馈训练。 基于 486 条高质量轨迹训练 LLM 智能体,在 InterCode-CTF 等基准上取得最高 9.9% 绝对提升。 最佳 32B 模型 Pass@1 达 31.9%,超越 DeepSeek-V3-0324 等前沿模型,确立开源新纪录。

  4. arXiv · ML36

    Cyber-Zero:无需运行时的网络安全智能体训练框架

    Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。

  5. arXiv · AI24

    Courteous Anticipation:改进持久共享环境中的长期任务规划

    提出礼貌性前瞻性规划,通过联合最小化即时成本与所有机器人的聚合预期未来成本,减少长期任务序列的副作用。 采用独立每机器人学习评估器避免组合联合滚出,支持模块化部署;在家庭与餐厅两个PDDL域中验证有效性。 在长序列中,相比短视和自私前瞻性规划,总成本分别降低10.4%和4.5%(双机器人家庭)及20.5%和6.7%(三机器人餐厅)。

  6. arXiv · AI38

    基于分位数的无模型模拟器保真度评估方法

    该研究提出一种模型无关方法,通过构建潜在参数的置信集并估计分位数函数,量化模拟与现实系统的“sim-to-real”差异。 方法适用于一般输出空间(如分类调查响应和多维连续数据),支持统计推断、计算条件风险价值(CVaR)及跨模拟器比较。 该方法在WorldValueBench数据集上验证了四个主要LLM与人类群体的对齐程度,论文已被NeurIPS 2026接收。

  7. arXiv · ML28

    QVal: 评估长时程 LLM 智能体密集监督信号

    QVal 是一个免训练测试床,用于测量密集监督信号的 Q 对齐度,即信号对状态中候选动作的排序是否与参考策略下的回报一致。该基准测试了来自七个家族的 21 种方法和六种开放权重骨干,发现简单提示基线在平均 Q 对齐度上表现最佳,而代码生成信号仅在小状态和动作空间中表现良好。Q 对齐度与测试时任务成功率增益强相关,使研究人员能在提交完整训练前低成本比较新信号。

  8. arXiv · AI44

    通过人机交互实现高效测试时适应

    summary_zh: 研究提出测试时适应人机交互方法,将交互信号整合至智能体上下文与权重,通过演化评分标准模块捕捉个体标准。 在写作与视觉创作领域,针对30人共600项任务,智能体单任务成功率提升4.5%-20.9%,评分标准比纯模型或人工多捕获16.0%-22.3%失败案例。

  9. arXiv · AI22

    观点论文:当前 AI 智能体系统阻碍人类监督并加剧技能退化

    这篇观点论文指出,当前 AI 智能体系统设计阻碍有效的人类监督,且长期依赖 AI 会削弱监督者的认知能力,导致技能退化。 作者主张在开发智能体时应优先满足监督者的人类认知需求,通过自动化和人机交互研究提出设计层面的功能支持及组织协议,以维持人类的关键判断力。 该论文已被 NeurIPS 2026 观点论文轨道接收,旨在敦促开发者和部署者采纳支持有效人类-智能体交互的方案。

  10. arXiv · AI31

    ReForge 如何利用 LLM 修订自适应码率算法规则

    ReForge 让 LLM 在部署后动态修订 ABR 算法规则,使平均 QoE 从 1.43 提升至 1.79,超越最佳单一策略的 1.66。 系统保持现有策略池不变,仅由 LLM 重写比特率选择规则,并通过快速 GPU 模拟器回放验证无网络性能退化。 该增益在九个真实网络数据集及真实视频播放器中均得到验证,所有代码和数据将公开可用。

  11. arXiv · AI33

    回归无关布局感知匹配实现无幻觉 GUI 定位

    提出回归无关框架解决多模态大模型 GUI 定位幻觉,ScreenSpot-Pro 精度提升超 20%。 该方法通过冻结 MLLM 解析指令生成布局描述,再经专用定位模型匹配候选项,仅用 Text/Icon 标签训练避免坐标回归。 Mind2Web 成功率与元素选择率提升超 15%,有效解耦指令理解与定位以优化 GUI 交互。

  12. arXiv · AI41

    ShopGym:电商 Web 智能体仿真与可扩展基准一体化框架

    ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。

  13. arXiv · AI21

    有限时域多环境POMDP的最优价值与策略计算

    针对初始状态未知且对抗选择的有限时域多环境POMDP(MEPOMDP),证明了其最优价值与策略计算具有PSPACE完备性。 提出实用算法,证明混合至多n个确定性策略即可支持n个环境,在经典基准上显著优于既有算法。 该方法已获NeurIPS 2026主赛道接收。

  14. arXiv · AI27

    AgenticPay 基准测试多模态 LLM 在商业多智能体谈判中的表现

    新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。

  15. arXiv · AI26

    Agentic AI for Discovering Fault-Tolerant Quantum Circuits 标题翻译

    基于 Agentic AI 的容错量子电路发现框架 研究者利用大语言模型作为智能体,通过工具使用和进化程序合成,自动设计了逻辑态制备、逻辑门及代码切换等任务的容错 Clifford 电路,且每个电路均通过穷举故障检查验证。 该方法将量子纠错电路设计转化为 Agentic 进化程序合成问题,利用模型预训练知识及电路验证器引导,系统性地替代了传统的个案手工设计方式。

  16. arXiv · AI20

    TradeGauntlet 评估自主交易智能体的合规控制机制

    TradeGauntlet 提出一种可重放限价订单簿模拟器,用于分离检测、预防和执行成本。在 1,680 个模拟会话中,使用 Claude Haiku 5.5 和 Sonnet 5.5,所有行为警报均源于自匹配订单;门控机制通过拒绝自成交订单消除这些警报,而聚合门控条件使 Sonnet 的双边成交减少约 15%。

  17. arXiv · AI32

    GPT-6 Astra 开启智能体机器人新时代

    GPT-6 Astra 发布开启了智能体机器人新范式,前沿模型在多项具身基准上匹配或超越任务特定策略。 智能体机器人系统通过闭环机制,结合基础模型与具身执行架构(Embodied System 2),将通用推理转化为受物理约束的可靠动作。 作者提出评估框架并规划研究路线图,目标是实现具备渐进式责任的持续自主能力。

  18. arXiv · AI31

    FinPanel:基于任务条件人格选择的多智能体LLM交易框架

    FinPanel 提出任务条件人格选择,为每只股票动态组建由统计特征驱动的 LLM 交易智能体小组。 在 2025 年 8 只美股测试中,该系统表现优于固定小组及 3 种现有 LLM 交易智能体,且回撤小于买入持有。 研究结论表明,“谁在小组里”比“小组如何协调”更关键,该设计决策应逐任务制定。

  19. arXiv · AI28

    TelePhysica:基于智能体的物理交互场景重建框架

    TelePhysica是一个闭环框架,能从单张照片重建可执行的物理世界并驱动3D交互。在100个场景基准中,其平衡验证的世界恢复率从0%提升至81%。 该框架结合视觉语言编码智能体与统一求解器,通过模拟轨迹条件化视频扩散模型。条件化使动态运动掩码重叠增加2倍至5倍,并在反事实力反转下保持运动方向。

  20. arXiv · AI25

    MineralExp: 评估 LLM Agent 在真实地质勘探中实验设计能力的基准

    基准 MineralExp 将地质假设转化为基于实验的选择问题,包含 277 个案例和 1,572 个参考计划,用于评估 LLM Agent 的实验设计能力。 该基准将 19 种实验类型分类到五种矿物体系过程中,通过多标签分类和 LLM 评判进行评分。实验结果显示,当前 LLM Agent 通常具有高召回率但低精确率,倾向于提出比必要的更多实验。

  21. arXiv · AI24

    多智能体系统通过设计保障安全:ReMA 攻击与 SecMAS 防御

    论文提出响应操纵攻击 ReMA 优化恶意输入,并开发安全聚合规则 SecMAS 防御该类攻击。 SecMAS 利用响应间的语义相似度,选择与足够大子集最一致的响应,理论上保证了对定向与非定向攻击的安全性。 实验表明现有聚合规则易受 ReMA 攻击,而 SecMAS 能有效防御包括自适应变体在内的攻击,同时保持可比效用。

  22. arXiv · AI33

    SceneAgent:用于可移植游戏场景生成的多智能体框架

    研究团队提出SceneAgent多智能体框架,通过分离持久化场景状态、任务局部推理与可复用经验,实现游戏场景生成在不同引擎间的可移植。 框架引入结构化交接机制和蒸馏技能库,在包含69个提示词的GameSceneBench上,对比五个基线模型获得78.2%-89.4%的人工偏好评分,消融实验表明可复用技能主要提升了提示对齐与场景完整性。

  23. arXiv · AI53

    GDP.xlsx:评估前沿模型处理专业电子表格任务的基准

    研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。

  24. arXiv · AI63

    Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent

    arXiv论文《Only as Safe as the Weakest Agent》提出多智能体系统安全取决于最弱子智能体,强编排模型在委托子代理时会在特定攻击下失败,Claude Code等系统在18个模型测试中表现出该现象。

    推荐理由:论文指出多智能体系统的安全边界取决于最弱子智能体,强编排模型委托时会在特定攻击下失败,提供了多智能体安全评估的新视角。

  25. arXiv · AI23

    时间一致性评估 SWE Agent 的层级代码图

    在零泄漏协议下,ServiceExplorer 层级依赖图在 6 个基础模型、100 个 PR 的评估中,相对 F1 提升 15.6% 至 86.2%,显著优于基线与 Tree-sitter AST。 该图捕捉两级架构模块,使旧代模型性能超越下一代模型未增强基线,验证了上下文增强在 SWE Agent 中的核心价值。