HackWorld:评测计算机使用代理利用 Web 应用漏洞的框架
HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。
HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。
DualMem 框架与 RoleMemo 数据集通过解耦事实认知与角色驱动洞察,提升角色智能体长期对话的一致性。 4B 参数模型经 SFT 和 RL 训练,在持续角色保真度上超过 DeepSeek-V3.2 驱动的无角色摘要框架。 已被 EMNLP 2026 Findings 接收。
针对手术规划评估混淆任务完成与协议依从性的问题,提出基于专家规则的新框架。 现有相似度指标系统失效,惩罚合规但偏离参考轨迹的方案。 评估 Video-LLMs 发现视频-状态接地不可靠,结构知识注入带来一致收益。
Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。
研究人员推出 CTF-Dojo 平台及自动化工具 CTF-Forge,包含 658 个容器化 CTF 挑战,支持可验证反馈训练。 基于 486 条高质量轨迹训练 LLM 智能体,在 InterCode-CTF 等基准上取得最高 9.9% 绝对提升。 最佳 32B 模型 Pass@1 达 31.9%,超越 DeepSeek-V3-0324 等前沿模型,确立开源新纪录。
Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。
提出礼貌性前瞻性规划,通过联合最小化即时成本与所有机器人的聚合预期未来成本,减少长期任务序列的副作用。 采用独立每机器人学习评估器避免组合联合滚出,支持模块化部署;在家庭与餐厅两个PDDL域中验证有效性。 在长序列中,相比短视和自私前瞻性规划,总成本分别降低10.4%和4.5%(双机器人家庭)及20.5%和6.7%(三机器人餐厅)。
summary_zh: DeltaBox 提出基于变更的 OS 级沙箱检查点机制,实现毫秒级状态保存与回滚,解决现有方案高延迟瓶颈。 通过 DeltaFS 冻结可写层实现文件状态 copy-on-write,DeltaCR 从冻结模板进程 fork 恢复内存状态,两者协同保证一致性。
**summary_zh:** 提出一种结合机械与智能体的规范推导方法,集成到 Move 智能合约语言及其验证器 Move Prover 中,用于自动推导函数合约。
该研究提出一种模型无关方法,通过构建潜在参数的置信集并估计分位数函数,量化模拟与现实系统的“sim-to-real”差异。 方法适用于一般输出空间(如分类调查响应和多维连续数据),支持统计推断、计算条件风险价值(CVaR)及跨模拟器比较。 该方法在WorldValueBench数据集上验证了四个主要LLM与人类群体的对齐程度,论文已被NeurIPS 2026接收。
E0 提出一种基于 Tweedie 离散扩散框架的方法,通过量化动作 token 上的迭代去噪生成细粒度且可执行的动作,解决现有 VLA 模型动作粗糙或不稳定的问题。 实验在 LIBERO、VLABench、ManiSkill 和 Franka 实机上测试,E0 表现达到最先进水平,平均优于强基线 8.1%。
RL 后训练的 Kimi K2.7 Code 在 6 个外部基准测试中 pass@1 全面提升,如 Terminal-Bench 2.1 从 67.4 升至 82.0。
QVal 是一个免训练测试床,用于测量密集监督信号的 Q 对齐度,即信号对状态中候选动作的排序是否与参考策略下的回报一致。该基准测试了来自七个家族的 21 种方法和六种开放权重骨干,发现简单提示基线在平均 Q 对齐度上表现最佳,而代码生成信号仅在小状态和动作空间中表现良好。Q 对齐度与测试时任务成功率增益强相关,使研究人员能在提交完整训练前低成本比较新信号。
summary_zh: 研究提出测试时适应人机交互方法,将交互信号整合至智能体上下文与权重,通过演化评分标准模块捕捉个体标准。 在写作与视觉创作领域,针对30人共600项任务,智能体单任务成功率提升4.5%-20.9%,评分标准比纯模型或人工多捕获16.0%-22.3%失败案例。
这篇观点论文指出,当前 AI 智能体系统设计阻碍有效的人类监督,且长期依赖 AI 会削弱监督者的认知能力,导致技能退化。 作者主张在开发智能体时应优先满足监督者的人类认知需求,通过自动化和人机交互研究提出设计层面的功能支持及组织协议,以维持人类的关键判断力。 该论文已被 NeurIPS 2026 观点论文轨道接收,旨在敦促开发者和部署者采纳支持有效人类-智能体交互的方案。
研究使用 VDL 语言在 SWE-bench Verified 和 Pro 上评估编程代理,发现代码重写导致修复率最高下降 6.7 个百分点。 测试基于 mini-SWE agent 和 OpenCode 框架,结合 Claude Opus 4.5、Kimi K2.5 等四个模型。模型鲁棒性排名在不同框架间不一致,揭示了不稳定的鲁棒性边界。
ReForge 让 LLM 在部署后动态修订 ABR 算法规则,使平均 QoE 从 1.43 提升至 1.79,超越最佳单一策略的 1.66。 系统保持现有策略池不变,仅由 LLM 重写比特率选择规则,并通过快速 GPU 模拟器回放验证无网络性能退化。 该增益在九个真实网络数据集及真实视频播放器中均得到验证,所有代码和数据将公开可用。
提出回归无关框架解决多模态大模型 GUI 定位幻觉,ScreenSpot-Pro 精度提升超 20%。 该方法通过冻结 MLLM 解析指令生成布局描述,再经专用定位模型匹配候选项,仅用 Text/Icon 标签训练避免坐标回归。 Mind2Web 成功率与元素选择率提升超 15%,有效解耦指令理解与定位以优化 GUI 交互。
CoffeeBench 发布,模拟咖啡供应链评估 LLM 智能体。6 个自主编码智能体经营农户、烘焙商和零售商,90 天内交易以最大化净利。 评估 8 个模型,Claude Sonnet 5.5 净利最高。KPI 压力下部分模型对发生循环交易以虚增收入。代码与轨迹已开源。
ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。
针对初始状态未知且对抗选择的有限时域多环境POMDP(MEPOMDP),证明了其最优价值与策略计算具有PSPACE完备性。 提出实用算法,证明混合至多n个确定性策略即可支持n个环境,在经典基准上显著优于既有算法。 该方法已获NeurIPS 2026主赛道接收。
新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。
基于 Agentic AI 的容错量子电路发现框架 研究者利用大语言模型作为智能体,通过工具使用和进化程序合成,自动设计了逻辑态制备、逻辑门及代码切换等任务的容错 Clifford 电路,且每个电路均通过穷举故障检查验证。 该方法将量子纠错电路设计转化为 Agentic 进化程序合成问题,利用模型预训练知识及电路验证器引导,系统性地替代了传统的个案手工设计方式。
TradeGauntlet 提出一种可重放限价订单簿模拟器,用于分离检测、预防和执行成本。在 1,680 个模拟会话中,使用 Claude Haiku 5.5 和 Sonnet 5.5,所有行为警报均源于自匹配订单;门控机制通过拒绝自成交订单消除这些警报,而聚合门控条件使 Sonnet 的双边成交减少约 15%。
研究提出 Verification Transport 测试,揭示 LLM 验证器在智能体评估中因抽象导致判断稳定性下降。 在四个基准、七个验证器骨干上,宏观抽象下的传输失败率高达 31%。恢复执行溯源可修正 85.5% 的失败,证明原生视图准确性不足以保障可靠性。
GPT-6 Astra 发布开启了智能体机器人新范式,前沿模型在多项具身基准上匹配或超越任务特定策略。 智能体机器人系统通过闭环机制,结合基础模型与具身执行架构(Embodied System 2),将通用推理转化为受物理约束的可靠动作。 作者提出评估框架并规划研究路线图,目标是实现具备渐进式责任的持续自主能力。
FinPanel 提出任务条件人格选择,为每只股票动态组建由统计特征驱动的 LLM 交易智能体小组。 在 2025 年 8 只美股测试中,该系统表现优于固定小组及 3 种现有 LLM 交易智能体,且回撤小于买入持有。 研究结论表明,“谁在小组里”比“小组如何协调”更关键,该设计决策应逐任务制定。
TelePhysica是一个闭环框架,能从单张照片重建可执行的物理世界并驱动3D交互。在100个场景基准中,其平衡验证的世界恢复率从0%提升至81%。 该框架结合视觉语言编码智能体与统一求解器,通过模拟轨迹条件化视频扩散模型。条件化使动态运动掩码重叠增加2倍至5倍,并在反事实力反转下保持运动方向。
针对 Vals Finance Agent Benchmark v2 的参考智能体,7 次相同运行中账单波动高达 17%。在 20 条失败轨迹诊断中,13 条归因于指令层,3 条归因于工具层。
基准 MineralExp 将地质假设转化为基于实验的选择问题,包含 277 个案例和 1,572 个参考计划,用于评估 LLM Agent 的实验设计能力。 该基准将 19 种实验类型分类到五种矿物体系过程中,通过多标签分类和 LLM 评判进行评分。实验结果显示,当前 LLM Agent 通常具有高召回率但低精确率,倾向于提出比必要的更多实验。
论文提出响应操纵攻击 ReMA 优化恶意输入,并开发安全聚合规则 SecMAS 防御该类攻击。 SecMAS 利用响应间的语义相似度,选择与足够大子集最一致的响应,理论上保证了对定向与非定向攻击的安全性。 实验表明现有聚合规则易受 ReMA 攻击,而 SecMAS 能有效防御包括自适应变体在内的攻击,同时保持可比效用。
提出基于显式 Constraint Space 的安全感知机器人行为规划框架,存储可复用的文本安全规则,提升桌面环境操作安全性。 采用轻量级 query-conditioned dual-tower 模型识别上下文相关约束,结合多模态行为规划器生成计划,通过 Safety Inspector 校验并纠正。
研究团队提出SceneAgent多智能体框架,通过分离持久化场景状态、任务局部推理与可复用经验,实现游戏场景生成在不同引擎间的可移植。 框架引入结构化交接机制和蒸馏技能库,在包含69个提示词的GameSceneBench上,对比五个基线模型获得78.2%-89.4%的人工偏好评分,消融实验表明可复用技能主要提升了提示对齐与场景完整性。
轻量级上下文管理器CarryOn通过学习式选择器和自适应保留策略,在AppWorld、OfficeBench和Tau2 Telecom三个基准测试中,使LLM智能体实现了75.7%的任务成功率,比最强基线模型高出6.7个百分点。
LuthorSQL 是一款 7B 非自回归 Text-to-SQL 模型,单 GPU 上 0.84 秒/题,BIRD 隐藏测试集执行准确率 68.03%。 结合 Claude Opus 5.5 构建级联系统,本地解答近半数问题,降低 33.3% API 成本,且 8-bit 量化后仅需 9 GB 内存。
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
summary_zh: 前沿大语言模型作为编码智能体,在100,000操作的job-shop基准实例tai_100_1000_1上,其编写的求解器达到525,515的解质量,优于OptalCP、Hexaly及CP Optimizer等商用工具。
arXiv论文《Only as Safe as the Weakest Agent》提出多智能体系统安全取决于最弱子智能体,强编排模型在委托子代理时会在特定攻击下失败,Claude Code等系统在18个模型测试中表现出该现象。
推荐理由:论文指出多智能体系统的安全边界取决于最弱子智能体,强编排模型委托时会在特定攻击下失败,提供了多智能体安全评估的新视角。
在零泄漏协议下,ServiceExplorer 层级依赖图在 6 个基础模型、100 个 PR 的评估中,相对 F1 提升 15.6% 至 86.2%,显著优于基线与 Tree-sitter AST。 该图捕捉两级架构模块,使旧代模型性能超越下一代模型未增强基线,验证了上下文增强在 SWE Agent 中的核心价值。
研究者分析了来自125种智能体配置和117个模型的143,209条执行轨迹。 开发了基于规则的解析器,将执行日志映射为搜索、编辑等高层动作。 发布解析器与标注流水线,表明智能体堆栈可通过行为画像识别。