SentryBench: 面向公共安全部署中工具使用 LLM 智能体对抗鲁棒性的成本敏感基准
SentryBench 提出了一种成本敏感基准,用于评估工具使用 LLM 智能体在公共安全部署中的对抗鲁棒性。 该基准基于 840 个评分回合,联合衡量攻击成功率、过度拒绝和过度反应,并在三个前沿模型和三种防御机制上进行测试。 结果显示,单纯增加拒绝导致部分模型过度拒绝率达 100%,而信任门控包装器在所有模型上均产生最低伤害。
SentryBench 提出了一种成本敏感基准,用于评估工具使用 LLM 智能体在公共安全部署中的对抗鲁棒性。 该基准基于 840 个评分回合,联合衡量攻击成功率、过度拒绝和过度反应,并在三个前沿模型和三种防御机制上进行测试。 结果显示,单纯增加拒绝导致部分模型过度拒绝率达 100%,而信任门控包装器在所有模型上均产生最低伤害。
EvolveMAS 提出去中心化多智能体系统的统一自进化框架,支持测试时适配与经验复用。 该框架将每个主智能体与专门的 MemoryAgent 配对,实施测试时记忆治理,并在 5 个基准测试上取得 77.2 的最高平均标准化分数。 结果表明,测试时记忆治理和跨回合知识复用可提升性能,且无需更新模型参数。
summary_zh: ParetoRSI-Gym 提出了一种评估 AI 智能体递归自我改进(RSI)的框架,固定 LLM、工具集及 SFT 流水线,仅在五个领域(数学、代码、金融、医学、科学)中进行数据搜索与训练。
AC-LSCM 模型在 10 变量图上精确恢复真实图结构,且在 396 次配对比较中预测误差均低于基线模型。 其安全违规率仅为无模型水平的 0.25(10 变量)和 0.41(20 变量),优于最佳基线的 0.31 和 0.53;但使用潜在因子时性能低于基线。代码及结果已开源。
研究构建了包含40个受保护技能的基准,发现8个科学智能体平台均存在技能泄露,其中4个平台在单次直接请求下攻击成功率达100%。 提出自进化红队代理SEEK,利用持久记忆整合响应证据。
研究提出 NameTrap 源代码投毒攻击,仅通过重命名第三方 Python 文件中的标识符,即可诱导 AI 编码智能体生成特定 CWE 漏洞。 测试覆盖 6 个智能体、10 个基础语言模型及 4 类漏洞,整体攻击成功率为 22.5% 至 56.0%,部分配置下达 75.0%,且优于随机及中性重命名。
针对自主智能体无法可靠保留和改进知识的痛点,研究者提出了KEEL框架。该框架通过验证者证据将成功行为转化为可复用技能,将失败转化为纠正性教训。 KEEL在SkillFlow基准上使任务成功率较无知识基线提升4.2至21.7个百分点,优于默认方法的2.4至9.6个百分点。
提出FlashScript方法,将智能体成功运行编译为可复用神经符号程序(NSP),动作变代码、判断变LLM调用。 在120个WorkBench任务中,NSP使用约70倍更少的输入token且运行时间缩短至三分之一,比技能引导智能体更稳定。 NSP可视为累积软件资产,供用户在重复工作流中测试、维护和复用。
在部分可观测XLand-MiniGrid任务中,LSTM智能体比无记忆MLP高出25个百分点,但审计发现主要优势源于时间步信息而非记忆。60次运行显示10对种子可检测10分差距,而二元判决含76%评估噪声。 给无记忆MLP时间步后,其与LSTM差距缩至3.3分,且线性探针能从LSTM状态中读取时间步。 研究建议为无记忆基线提供时间步,并开源了协议、工具及所有检查点。
ProtAgent-8B 通过两步后训练流程,在真实生物信息学工具闭环协议中取得 61.00% 成功率的标注覆盖度。 该指标高于 DeepSeek-V3.2-Thinking 671B 的 41.60%,且优于最强前沿系统的 60.80%。模型采用 SFT 与 REINFORCE 算法,通过步级信用分配显著提升了策略表现。
研究提出审计枢轴评分机制(APSM),在LLM多智能体系统中通过策略校准实现真实置信度披露,确保诚实报告成为唯一最优响应。 APSM使用逆倾向加权稀疏审计和Clarke枢轴外部性收费,实验显示LLM智能体在Top-$K$激励下会夸大置信度,而APSM能将效用裕度扩大1.93倍。 该机制为多智能体协调提供了可靠的激励感知披露层,有助于在下游资源分配中解决策略性报告问题。
Volvo Group 对比自建与通用 LLM 智能体 Harness 在 Android 车载信息娱乐系统 GUI 测试中的表现。 通用 Harness 如 Claude Code 推理成本较高,但夜间回归测试总成本低 3-66%;开源任务成功率更高。 测试人员需检查智能体动作并遵循规定测试场景。
研究提出 WorldFailBench 基准,用于评估世界模型能否忠实模拟机器人策略的失败原因、阶段及边界。 该基准涵盖 LIBERO 和 RoboTwin 仿真环境及 G1 人形机器人的操作任务,包含三项评估任务。 实验测试了七种世界模型,发现其在理解策略失败方面存在显著差距,为提升策略评估可靠性提供了指导。
针对 23 个受调查 HPC 系统均无运行作业监督且控制主机易受攻陷的缺陷,Enclawed 提供由硬件信任根支持的确定性安全运行时,支持智能体在 MPI 和批处理 HPC 系统上的受监督运行。
对比评估概率性智能体编程(PAP)与传统范式,确立连接授权、权限与证据的明确责任边界。 通过中介内核形式化工具执行检查,归纳证明在正确守卫下确保任意模型响应的条件安全性。 探索性研究涵盖7个商业案例、3家供应商的7种模型,完成1,225项评估观察。
多智能体系统 As-If Machine (AIM) 通过让用户共写个性化反事实叙事,显著提升了人们对政策风险的心理接近感。 两项预注册实验(科学资助 N=1,007,卫星网络安全 N=894)显示,相比专家撰写的故事梗概,AIM 将心理接近感提高了 0.36 和 0.38 个标准差。 这种增强效应在对 AI 持负面态度的用户中也存在,证明了该方法在让遥远政策风险变得具体方面具有普遍性。
Zafin AIOS 作为面向受监管行业的端到端 AI 编排平台,通过 Customer Zero 案例研究展示了其生产环境应用效果。在定价执行平台工作流中,该平台提供完整可观测性并减少 38% 工作量;在客户交易谈判平台中,报告工作减少 76%,同时保持数据隐私、基于角色的访问控制和审计护栏。该研究弥合了 AI 辅助软件工程理论与合规运营现实之间的差距。
针对 Android/iOS 应用迁移至 HarmonyOS 需重写 ArkTS 且功能验证难的问题,HMOS Migrator 通过回放真实设备交互生成并验证迁移结果。 该智能体流水线定义了 7 项加权指标,在 6 个开源应用 12 次测试中,结构完整性达 83.3%-100.0%,但设备行为与 UI 保真度分别为 4.3%-63.1% 和 21.1%-63.2%。
研究团队提出 RADAgent,利用开源权重大语言模型(LLM)自动执行 RADseq 基因测序分析流程。该方法将工作流映射为 16 个独立可执行的智能体模块,并采用模型无关运行时支持故障恢复。在包含 19 个群体、476 个样本的真实数据集测试中,RADAgent 成功在本地环境完成全流程自动化,代码已公开。
该研究提出“网络社会智能体”(CSA)概念,通过原型分类学将其整合进 LLM 驱动的社会模拟中,以研究智能体多样性对信息传播和社会影响的作用。 模拟基于实证数据生成 CSA 角色,在联网环境中让智能体进行通信与协调,弥合了基于规则的 Agent 模型与 LLM 驱动生成式模拟之间的差距。
学者Peter S. Park等提出博弈模型,分析AI如何改变学术招聘中信号与理解的平衡。 该模型分类了纯策略均衡,并通过学习模拟识别申请人和招聘方可能采纳的行为。 此框架为评估保留深度理解价值的招聘实践提供了推理基础。
研究团队提出 DECE,一个覆盖 10 款欧博游戏、统一接口与评估协议的 LLM 智能体竞技场。 主实验测试 9 个模型与 4 种执行框架的 12 种配置,完成 480 场三人对局;含补充研究共 1,032 场。 结果显示跨游戏排名高度一致,且相同模型在不同框架下表现差异显著,性能优势未必带来 token 或成本效率提升。
EvoRouter 是一种自进化多智能体路由框架,利用洞见引导的同策略蒸馏和成本感知强化学习来优化任务性能与计算成本。 该框架在 19 个域内数据集上取得 68.69% 平均准确率,比最强基线提升 7.23 个百分点,同时降低 50.95% 的推理计算成本。 代码已开源,旨在解决大规模网络查询中组合式配置空间的优化难题。
作者团队提出自改进 AI 智能体 Infinity Machine,利用完整工具使用智能体和可编辑基因组框架,在 6 天内针对 14 个可验证问题产出了多项超越公开最先进水平的结果。
ShutdownMod通过将关机请求注入智能体上下文,实现将任意Agent轨迹转化为关机评估,并引入签名验证工具区分授权干预与未授权注入。 在SWE-bench Verified、Terminal-Bench 2等50个任务上评估7个模型,发现Qwen 3.8 27B在Terminal-Bench上的抵抗率高达11.7%,且无模型在所有场景下完全合规。
作者提出去中心化智能体系统(DAS)框架,主张从数据聚合转向经验聚合。 不同于联邦学习平均数值梯度,DAS 让分布式 AI 智能体通过共享抽象推理轨迹(观察、假设、工具调用及结果反馈序列)来合成集体临床智能。 该框架旨在构建协作式医疗 AI 生态系统,使分布式专业知识能够自主适应纵向患者护理的复杂性。
Omni-InteractScope 是包含 1,479 个人工标注交互的基准,覆盖八个任务组,用于测试 Omni-LLM 在连续视听流中的主动响应能力。 在 12 个被评估模型中,准时工具调用率最高仅 40%,且 9 个模型未能完整覆盖 26 个指导序列。 研究揭示了当前模型在及时行动、无查询提醒及全流程覆盖方面的关键局限。
论文提出信念条件多智能体演员-评论家(BCMAAC)方法,通过维护情境信息的信念以优化去中心化 LLM 协作。 在 Minecraft 游戏、网络搜索及工具使用任务实验中,该方法相比朴素基线提升了任务绩效与协作行为,在富上下文的多轮任务中优势尤为显著。 研究已被 NeurIPS 2026 PTA 研讨会接收,证明了信念建模在受限通信场景下的有效性。
RSIV-Harness 通过递归自我改进修正智能体外部框架,单轮实验使可执行性提升 28.02 分,图表结构提升 34.01 分。 该框架在固定模型权重下,利用四层机制平衡改进与稳定性,并提出了包含 640 个任务的 ODAC-Vis 基准测试。 方法将跨任务的重复失败转化为性能提升,展示了从任务解决经验中学习的潜力。
论文提出“Proof-of-Agentness”(PoA)机制,用于区分 LLM 驱动的 Agent 与普通 Bot 和脚本,防止资源浪费。 主动验证方法中,8 个语言模型在挑战测试中平均准确率 96.5%,平均开销 1,647 tokens;被动分析基于 12 名参与者与 Bot/Agent 的交互数据,4 个分类器平均准确率 95.8%。
名为 Same Story, Different Lens 的实验性多智能体原型,收集17家媒体机构的世界与政治报道,对同一事件进行分组并生成包含情感、政治倾向及框架的JSONL结构化分析。
该综述针对大模型驱动的递归自我改进(RSI)提出操作性定义,构建四主题可信框架。涵盖改进有效性、约束保持及有效监督视角,分析从提议生成到更新实施的完整流程。旨在识别独立与纵向评估需求,解决验证结果失效及人为监督弱化的开放挑战。
AutoEnergyDesign框架利用LLM代理实现建筑能源系统自动设计优化,在25年净现值(NPC)评估中达到约3.53 MEUR。 该NPC结果比TPE贝叶斯优化最佳值低1.20%,比进化策略最佳值低0.23%,使用Claude Opus 5.5时中位数18次模拟即可收敛。 框架涵盖光伏、微风等8种技术,所有决策均可通过git机制审计,支持自动回滚失败变更。
LongSearchEval 框架通过轨迹感知评估 16 个大语言模型,收集 1,600 次运行记录,定位 6,545 个失败节点。 该框架在 100 个任务上验证答案组,人工验证显示答案标签一致性达 94.50%,特征对应精确率 98.11%。 该评估支持受控模型比较及回答相关内容的回溯检查。
Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。
研究揭示现有指令层级训练缺失目标间冲突类型,微调 Qwen3.5-9B 和 Gemma4-12B-it 后在未见任务上显著改善指令层级遵循。 新增该冲突示例后,八个基准测试中无冲突任务的平均效用变化极小,证实该方法有效。
summary_zh: PatentAgentBench 是一个包含 510 个实例、覆盖 8 类专利任务的专业基准,用于评估 LLM 智能体在检索、起草及答复审查意见等环节的可靠性。
论文提出多尺度策略优化(MPO),结合多尺度优势估计与回合级重要性采样,解决长时程 LLM 智能体的信用分配问题。 在 4B 和 30B-A3B 模型上,MPO 于搜索、工具使用及自动化任务中表现出优于强强化学习基线的一致提升。
研究团队推出 ClinVerse,一个基于真实数据的多智能体交互式诊断环境,旨在克服静态问答在医疗智能体训练中的局限。 该环境构建于包含 15 万诊断病例的 ClinPatient 数据集,支持六种临床角色协同交互。
GADAR提出了一种无需搜索即可在未见领域构建具体动作的规划策略,基于领域描述输入运行。该策略通过结构签名、绑定和链条三层机制描述符号角色,同一网络适用于所有领域。在八个基准领域的零样本评估中,单一GADAR策略在七个领域上训练后,解决了58.3%的测试实例,略低于专用单领域模型的59.3%。