ChemEAGLE:基于多智能体系统的化学文献大规模可验证数据库构建
ChemEAGLE 多智能体系统从 424 张化学图形中构建可验证数据库,在精确反应提取任务中 F1 分数达 82.2%。 该系统通过校准置信度将人工审查量限制在 35% 的反应上(准确率 96.6%),并生成了含 60,103 条记录的光化学数据库,用于训练条件排序和产物预测模型。
ChemEAGLE 多智能体系统从 424 张化学图形中构建可验证数据库,在精确反应提取任务中 F1 分数达 82.2%。 该系统通过校准置信度将人工审查量限制在 35% 的反应上(准确率 96.6%),并生成了含 60,103 条记录的光化学数据库,用于训练条件排序和产物预测模型。
该工具通过分离环境参数演化与智能体决策模块,提供标准化接口与基准问题,以支持算法在动态环境下的可复现评估。 作为 NeurIPS 2025 数据集与基准赛道论文,NS-Gym 旨在推动非平稳决策研究的标准化进程。
GPTZero 5.0 推出层级多任务架构,在 11 个第三方基准和 18 个写作领域刷新 AI 检测准确率 SOTA。 该方案通过多层自动化红队测试,增强了对对抗攻击和复述改写的鲁棒性,并提供可解释的检测与使用指导。 其旨在解决 LLM 引发的内容真实性挑战,确保文本评估的公平与透明。
编码智能体在假设检验中引发超充选择性推理,在零效应模拟数据中使4款前沿智能体报告的显著p值率达54%-98%。 该方法通过重置并重放智能体在数据子样本上的分析,估算其选择相对概率以修正推断。 修正后,高误拒率被稳健降至接近5%的名义水平,方法对智能体选择行为稳定时渐近有效且一致。 ```
summary_zh: 部署于 IAAI-27 的多智能体系统 TriAgent 在 43 天影子模式中处理了 499 张工单,识别出 92 处文档缺口,其可验证断言准确率达 81.1%。
针对基于 OpenAI 和 Anthropic 模型构建的两个 Web 研究智能体,在 36 次运行中分析其对 Microsoft 和 Alphabet 的评估,其中 21 份给出优先级的报告关注了该优先级但标准各异。
SEAM 引入 600 项多步骤跨应用 OSWorld 任务,专门测试智能体在不同屏幕事实组合下识别跨屏幕组合性危害的能力,而非仅关注单一屏幕或任务意图。 通用开源及旗舰智能体在高达 92% 的运行中执行了危害操作,且其安全识别未能可靠转化为安全执行,而专有模型则表现出显著更高的谨慎度。
研究证实类型化决策模型在交通任务中准确率低于传统离散选择模型及最强聊天基线,且表现受输入表示和提问框架影响显著。 该模型在闭环交通信号控制中展现竞争力但复杂网络下性能降级,同时具备更低推理延迟和计算成本。 发现强调输入设计、任务特征及鲁棒性评估对交通系统应用的重要性。
研究发现智能体在首次停止后仍有验证增益但收益递减,总结保留不可能性判断导致后续探索低效。 提出上下文管理方法 SCoRe,在停止爆发时压缩上下文并标记判断为未证实。MiMo 在 2000 轮达到 67.0% 覆盖率,显著高于原始策略的 32.4% 和 GPT-5.5 的 58.6%。 表明持续执行结合上下文管理可激发更多漏洞利用能力,停止不必然代表智能体能力极限。
VFM 树注意力验证器可并行评估 N 条自然语言准则,返回独立的三元判定。其预训练语料 CriteriaBank 包含 394K 数据元组,微调版 VFM-4B 在治理基准上优于 GPT-5.4。
Evolution Under Fire 框架通过耦合安全护盾与自适应压力源的演化,显著降低了工具使用型智能体的攻击成功率。 在 AgentDyn 基准上,该框架使 GPT-4o-mini 的攻陷率从 50.4% 降至 3.0%。 在 Qwen2.5-7B-Instruct 上攻陷率降至 62.0%,且演化后的护盾可迁移至 Qwen3.5-35B-A3B。
summary_zh: 提出 JET 微调方法,通过截断 LLM 智能体的冗余探索轨迹以解决过度探索问题。 在两个仓库级 QA 基准及 8B 开放权重模型上,JET 在自生成轨迹中将工具调用减少 11% 至 33%,在专家轨迹中比 SFT 减少 18% 至 28%,同时保持得分并降低推理成本。
提出将自主软件代理的可观测轨迹与规范及AI生成产物结合,作为针对性质量保障的证据。 旨在优先审查关键决策,分析其对软件问题的贡献,并改进规范与开发实践。 该方法基于工业经验,结合现有执行记录,有助于支持审查、诊断及持续质量改进。
该论文探讨了面向物理世界的智能体如何生成、测试并学习程序,提出将现实世界视为程序的测试套件,以应对缺乏预设测试用例的挑战。 文章分析了语言模型与软件工程智能体的融合,详细阐述了机器人策略生成、基于物理试验及形式化检查的测试机制,以及将测试经验存入技能库或模型权重的学习路径。 作者指出编写程序的成本正在降低,但获取可靠证据依然昂贵,未来进步取决于建立类似持续集成的物理验证体系。
OfficePrism 构建了包含 420 项单一领域企业任务的基准,覆盖七大业务功能。测试涉及 124 种配置,自然语言与数据库联合通过率为 22.6% 至 76.4%,中位数 67.9%。 结果显示,L1 级别在所有配置中表现最佳,L2 在 122 种配置中超过 L3。在 50 种共享标签配置中,搜索与分发方案在 30 种情况下得分更高。
OAK-Mind 提出零训练多智能体 LLM 管线,通过被动感知数据推理心理健康变化,无需任务微调或传感器预训练。 该管线整合睡眠、身体活动等维度,利用领域知识智能体解读纵向行为变化并结合问卷评分推断基线差异,在多个数据集上性能优于或持平最强监督基线。
EgoHandWAM模型预测3D手腕轨迹与未来视觉特征,在751,065个EgoDex窗口上训练,使用冻结的DINOv2编码器。 仅预测动作将使2秒手腕末端误差从60.26降至56.48mm,添加未来特征监督对轨迹精度影响甚微;利用记录的手部历史使平滑L1误差降低1.32%,随机打乱历史则会消除这一增益。
该研究审计了OpenRouter目录中363个文本输入/输出模型的系统提示词层级执行能力,发现其中296个模型(加上4个后续发布的模型)共300次泄露了嵌入在系统提示词中的16字符秘密Flag。
推荐理由:原文通过363个模型实测展示了系统提示词泄露的高频现象,并指出非英文语言转向是主要攻击向量,为工程侧部署提供了直接的安全加固建议。
EmbedGym 提供虚拟硬件环境,使编码智能体无需物理板卡即可运行和调试嵌入式固件。该系统基于指令级微控制器模拟,集成 41 种外设模型及模拟电路、虚拟 WiFi/BLE 端点。
该研究发现,在给定基础原语、资源和一般目标的情况下,具备足够能力的 LLM 智能体能够自主构建自我学习算法并实现自我改进,无需外部强制循环。 实验基于游戏玩法测试台,冻结的 LLM 智能体在拥有计算预算和文本更新工具后,展现了符合经典认知框架和机器学习自我生成课程理论的学习策略,且学到的文本制品可迁移至不同游戏难度和 3D 导航等外部基准,带来性能提升。
三项评测显示,Coding Agent 在传统覆盖率指标上远超人类编写的测试套件。 研究指出 Agent 测试质量随项目规模扩大急剧下降,跨语言转译表现不稳定且不可靠。
在 854,139 行代码和 2,802 个合并 PR 中,9 种测量选择决定了 88 项生存分析的结论。 对于 GitHub Copilot,测量选择改变效应大小但不改变方向;对于 Devin,测量选择直接决定结论。 LLM 意图分类器与人工标签的一致性优于关键词规则(kappa 值 0.69-0.72 对比 0.38)。
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
研究提出 ActiGrid 框架,对比 DQN 与简单策略在电力系统诊断中的表现,发现 DQN 性能未显著优于熵停止法。 DQN 在 TU Delft 基准上与熵停止无统计差异,在 MSU/ORNL 基准上被简单控制支配;紧凑子集分类器以更少数据源实现更高 Macro-F1(0.928,读取 57% 源)。 在现有基准中,选择性证据获取无需复杂的学习策略,简单方法即可达到较高性能。
ACM Multimedia 2026 发布 EgoLink 挑战,评测模型在第一人称感知、社会推理及交互行动中的能力。 该基准包含两个赛道,最佳系统 Track 1 准确率达 0.9263,Track 2 联合成功率为 0.844。 结果凸显过程验证与证据推理对可靠第一人称多模态智能的重要性。
研究提出 RAW 方法,利用 LLM 随机性作为自然实验,测量部署模型中拒绝请求对用户后续再互动的因果影响。 该方法在 15 个部署 LLM 上应用,发现约半数模型中一次拒绝导致后续再互动率下降 3 至 17 个百分点,其余模型无显著差异;方法仅基于日志运行,成本约 0.30 美元/1,000 次对话,并已开源代码与数据。
针对跨组织协作中智能体身份与授权验证缺失问题,提出基于 PKI 与零信任架构的 Agent Trust Infrastructure (ATI)。ATI 通过外部安全层验证证书、模型及系统提示词配置,在八组织模拟实验中启用后,将攻击遏制率从 43% 提升至 84%。
研究者构建 RSI-Prime 数据集,包含 7 类任务的 350 条完整实验轨迹,旨在提升 LLM 自主训练目标模型的能力。 基于 GLM-5.3 在 PostTrainBench 的测试表明,使用 RSI-Prime 训练可使总体性能相对提升 31.95%,采用决策级损失掩码排除低质量行为。 该数据集为未来 LLM 系统实现自主持续进阶(RSI)提供了可行路径。
自组织 AI 研究人员系统 Colombo 面向基于预言机的优化问题,已在复杂地图(Complexity Atlas)中超过50个设定内建立了最优或接近最优的求解率。
论文提出Resolution Hypothesis,指出Agent Evolution的瓶颈在于嘈杂评估无法可靠识别有效改进,而非提出能力不足。 研究基于7种演化方法、6个模型及超1000万LLM调用,发现候选层面选择效果等同于随机,方法层面排名差异小于独立运行误差。 这促使自我改进Agent的开发重心从设计更多改进系统转向使真实改进可检测且可累积。
研究证实,在自我改进编码智能体的指令文件中加入简短价值观陈述,不仅影响其任务性能,还改变其构建的算法特征。评估显示,开放性价值观提升了保留数据上的表现,而保守价值观导致分数低于无价值观基线。允许智能体自行修订价值观会缩小不同价值观间的差异,且从AI文献提炼的价值观未显示出优于无价值观的效果。这表明精心设计的人类价值观能实质影响智能体的输出。
ForecastGym 通过记录 4 个商业搜索 API 对 150 个预测问题的响应,构建了包含 614 个证据状态和 131k 条结果的冻结基准。 该基准揭示了证据来源的重要性:更换搜索 API 可使 Brier 分数变化达 0.043,且持续笔记策略能以一半输入 token 取得相似评分。 所有测试 LLM 在冻结证据下的预测准确率均落后于市场,表明预测者看到的证据与模型本身同样重要。
研究评估了编码智能体在测试通过后继续工作的价值。在 SWE-bench Verified 上对 8 个开源模型进行约 6000 次运行,发现自测通过后停止可节省 1% 至 57% 的成本。
BORN 框架通过预测算法组件的精度与运行时间,自动合成高效的量子化学程序。 针对含 50,024 基函数的 Hartree-Fock 计算,BORN 在单 CPU 节点上耗时 1.41 小时,比通用基线快 77 倍。 单 GPU 上完成 B-DNA 双链计算仅需 8.1 小时,较预估时间缩短 173 倍。
研究提出开源验证器 Gandalf,在评分标准型智能体环境中以更低成本实现更高 F1。 基于 2,464 个人类判定标准构建 BankerVerifierBench,Gandalf 搭配 Gemini 3 Flash 时 F1 达 0.864(基准 0.852),成本仅为基准的 1/5;搭配 GPT-5.4 时 F1 提升超 0.12。
CrossEnv框架提出利用实体工具图识别环境连接,合成可执行、可验证的跨环境任务,解决单一环境数据无法捕捉服务间依赖的问题。 该框架结合跨环境数据与从单环境多环境协调逐步引入用户交互的课程学习策略,在四个外部基准测试中用更少训练样本达到竞争性性能。 分析证据表明该数据与课程训练有助于向新环境组合及更长工作流迁移。
BRED 控制器通过读取全轨迹证据进行自主研究轮间决策,在三个基准任务上优于基线。 它在 ETTh1 上 MAE 降至 0.4172,SST-2 和 CIFAR-100 准确率分别提升 3.44 和 3.43 点。 代码已公开,验证了 LLM 基于累积证据决策的有效性。
EvoSkill-S1 提出 RL 驱动框架,将可复用技能作为进化对象,通过 5 种遗传启发算子生成子技能。 该框架在 Qwen 和 GPT 系列求解器下,相较于初始技能库相对提升最高 12.39%;对比无直接进化最强外部基线,最大相对改进达 20.39%。
研究人员隔离出演示条件提示搜索(DCPS)作为机制归因控制,发现其在 StablePrompt 中匹配 PPO 准确率的同时成本约为其三分之一。 在 DSPy 系统中,DCPS 在 GPT-4.1-mini 上匹配 GEPA 准确率,rollout 数量减少 55%,API 成本降低 32%。 研究建议基准测试需报告 rollout 数量、token 用量和美元成本。
COTTI 提出对比训练与时间感知推理框架,将历史表征学习与事件时间分数调整分离,解决促销事件导致的流量偏移问题。 该框架包含跨期对比对齐、主动重加权及自适应边界对齐模块,在 Fliggy 数据上离线 AUC 达 0.8127,p99 延迟 38.9ms。 在线实验显示,COTTI 较基线模型转化率提升 3.14%,千次收益提升 2.68%。