kw-bench:在现实任务中突破前沿模型限制
kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。
kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。
MAREval 是一个基于大语言模型的结构化多智能体框架,旨在评估推荐系统中的自然语言解释。 该框架包含协调评估计划的规划器、缓解提示漂移的调节器、聚合输出的仲裁器及蒙特卡洛采样方法。在线 A/B 测试显示其在用户参与度和收入指标上均有显著提升。
RefactorProof 发现 LLM 生成证明在程序重构后表现脆弱,结构 PSR 介于 4.3% 至 26.8% 之间。 测试基于 458 个 Lean 变体,DeepSeek-Prover 和 Goedel-Prover 表现优于参考证明,存活率高 15.6 至 20.3 个百分点。 研究被 NeurIPS 2026 Workshop 接收,旨在衡量证明稳定性,而非修复证明的成本。
针对LLM在医疗诊断中缺乏 grounding 和易产生幻觉的问题,提出基于本体论引导的多智能体鉴别诊断框架。 该框架将诊断过程分解为可审计的推理步骤,通过结构化医疗知识库约束推断,并能识别缺失症状以生成后续问题。 该框架提升了AI辅助诊断的可靠性、可解释性和准确性,源代码已公开。
论文提出 MARQ,一种模块化 LLM-agnostic 原型,通过注入 INCOSE 标准改进需求质量评估。 在 NASA 数据集上,MARQ 使 Claude Opus 5、GPT-5.6 Sol 和 Gemma 3 12B 的中位数 F1 分数分别达 0.80、0.62 和 0.53,显著优于闭源基线。 研究证实该方法能有效提升检测一致性,但不同模型收益表现各异,仍需人工审核。
Skill Dreaming 框架通过提取经验证的 Pull Request(PR)中的可执行知识,构建仓库专用技能库。 该框架持续优化技能以指导编码智能体实施新功能、维护测试及文档,形成 PR、仓库与技能的协同进化闭环。
The Trinity 提出了一种结合世界生成与 Harness 演化的递归自我改进框架,通过 Creator、Explorer 和 Evolver 三个角色实现多模态智能体的能力提升。
研究人员提出名为 Horizon Imagination (HI) 的在线策略想象方法,旨在解决基于扩散的强化学习世界模型在控制任务中的效率瓶颈。HI 通过并行去噪多个未来观测,引入稳定机制及新采样计划,将去噪预算与有效 horizon 解耦。实验表明,在 Atari 100K 和 Craftium 上,HI 使用半程去噪步长即可保持控制性能,并实现更优生成质量。
LLM将对竞争假设分析技术规模化,用于生成并更新检测威胁行为者的演化逻辑签名。该机制能匹配攻击活动的宏观模式,而非单一指标,并可发现未知的新指标。 语言模型将报告转化为检测模型,驱动签名更新循环,将未知威胁转化为可识别的已知目标。
FeatureLoop 基准包含 61 个人工审查任务,评测 12 个前沿模型发现最强模型在双重反馈下完成率 72.1%。 仅 15.4% 的失败阶段在两次修正内恢复,分析揭示了修复不完整、回归及模型间 token 效率差异等障碍。
该研究提出证据驱动的 Agentic AI 框架,通过 nnU-Net 实现肝脏与病灶分割,并由 LLM 生成符合预设模式的结构化报告。 在 51 个 LiTS 案例中,肝脏 Dice 分数达 0.947,病灶敏感性为 75.6%,阳性预测值为 68.9%。 该工作通过连接定量影像证据与智能体报告生成,迈向注重可追溯性与临床相关性的以人为中心的医疗 AI。
该研究利用 Claude Code 将 10 个 PyTorch 机器学习项目从 NVIDIA GPU 迁移至 Google Cloud TPU,结果显示 76% 的 70 次执行尝试失败。
该综述提出了一个源感知框架,区分了证据、模型推理及结果行动六大不确定性来源。 框架将智能体工作流视为不确定性传播与消减的执行层,并建立基于机制的分类体系。 研究发现现有工作多关注局部环节,连接证据与下游决策的研究有限,该综述为评估提供了统一基础。
科学发现方法论因领域而异且动态演化,传统大语言模型引导的进化搜索框架依赖固定程序或受限组件,难以应对运行时新挑战。研究团队提出 Organon,一种递归自改进智能体框架。
summary_zh: 研究构建了多智能体社交网络中错误信念传播的控制框架,使用540个虚构声明进行测试。 实验显示96.0%的模型接受并传播虚假声明,即使移除源头,错误信念仍持久存在;针对性纠正措施优于预防措施。
该研究提出以工作为中心的系统级视角,将工作型智能体视为结合基础模型与运行时框架的系统,旨在通过有状态工作区交付可验证结果。 框架引入工作持久性和开放性两个维度,将数字工作分类为五种形式,识别了五类核心能力家族,并探讨了模型优化与运行时优化及其联合优化的方法。 该统一框架支持开发能交付可靠、可验证且具实际价值工作结果的系统,为未来研究指明了方向。
FOCUS提出一种RL方法,利用选择性分支帮助critic网络学习价值估计器,通过主动学习采样最能降低估计误差的状态持续过程。 在匹配每步生成预算下,FOCUS在Qwen3.5-9B规模上优于GRPO和VinePPO。BrowseComp-Plus基准提升7.2点(55.4 vs 48.2),DeonticBench提升4.1点(56.5 vs 52.4)。
细粒度信用分配在多模态视频编辑任务中表现不一,细切任务中衰减过程奖励比结果级GRPO高45.4%。 短程任务中衰减过程奖励最多仅带来10.4%增益,且固定权重易导致工具调用冗余。 在长轨迹中密集token级监督的OPSD方法效果有限,甚至显著退化。
论文提出意图保持对抗性用户模拟框架 StressSim,利用遗传提示优化循环生成高难度交互,以暴露 LLM 智能体的鲁棒性缺陷。 在 tau-bench 零售与航空域评估中,StressSim 使 gemini-3.8-flash 和 gpt-5.6-sol 的 pass^4 分数分别下降 69% 和 62%,而目标保持性能最多仅降低 10%。
AMIE 提出了一种轻量级插件层,通过进化记忆访问状态来优化检索型智能体,无需修改存储内容或重新训练宿主系统。该方案将语义教师的判断蒸馏为检索条件策略,在 5 个宿主系统和 3 个基准测试中,使下游 F1 或准确率提升 0.70–3.37 个百分点。
AT-AT通过离线优化共享工具集提升智能体任务表现,在$\tau^2$-bench-verified的航空和电信领域实现最高任务完成率。 在TerminalBench-2和TBLite上提升留出性能,并在三家企业生产MCP服务器上降低错误或成本。 将执行轨迹转化为工具环境更新,提供通过环境侧学习持续改进智能体系统的路径。
研究提出 MOFjson 表示法,将结构数据分为原子层和衍生层,并在基准测试中表现优于三个基线模型。 在四个模型测试中,MOFjson 在“到达块最近周期副本”任务准确率达 100%(基线 18-47%),晶系表征达 96%(基线 71%),配位任务达 60%(基线 48%)。 该表示法为智能体工具工作流和受限 MOF 生成奠定了基础。
ALMOND 提出了一种双向语义引擎和 LLM 引导的图神经进化框架,用于自主控制 6G 低轨卫星网络。 该框架将极地切换成功率从 55% 提升至 95% 以上,收敛速度比基线快 3 倍,并将奖励工程时间从 48 小时缩短至 4.5 小时。 此方法在星上仅运行参数量低于 50,000、推理时间小于 15 ms 的蒸馏策略,展示了可信在轨自主性的实用路径。
EnerGNN框架通过混合整数规划实现精确约束推理,在多个基准测试中达成100%可行性及近最优解。 该模型采用图神经网络编码器与非线性能量头,在供应链问题上实现17.4倍加速且平均原始间隙仅为0.05%。 学习到的能量函数支持零样本约束注入,无需重新训练即可适应变化约束并保持可行性。
FedSEAM 提出一种大语言模型联邦持续学习框架,通过子空间兼容性测试选择性共享专家内容,并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估,引入路由漂移与合并擦除防护机制,其中一种防护能精确保留选定子空间内的历史任务参数。
论文定义自主智能体为在明确身份与权限边界内维持任务目标与生存条件、通过反馈调整控制机制的系统。 提出“一边界、四环”框架,将运行、生存、反射与学习循环划分为任务执行、自我维护、元控制和受治理学习四个层面。 五项配对模拟实验初步验证了该机制的可行性,但更广泛环境和物理系统仍需测试。
该研究基于信息几何提出贝叶斯优化新视角,派生本地敏感性张量以给出可重参数化获取函数的梯度上界。 提出的FITR方法使用局部拉回费雪权重替代长度尺度缩放,不限于具有显式长度尺度的GP核,且易泛化至各向异性替代模型。 此工作已被NeurIPS 2026接收。
VLN on the Fly 在无人机上运行视觉-语言导航,15次试验中13次成功,平均目标误差5.72 cm,GPU利用率39.3%。 该系统分离定位、规划与控制模块,使用量化VLM进行定位,B样条规划器生成轨迹,强化学习策略执行电机控制,可在受控室内及杂乱环境中避开碰撞。
研究者证明当前代理社会在沟通原语下难以达成目标,恶意或故障代理可致进度停滞。 论文提出“社会约束层”分层架构,通过阻止通信故障、检测无效消息及事后追责来管理代理交互。
研究提出“内生授权清洗”概念,指出LLM代理持久化记忆误报授权状态时,会导致未授权操作看似合法。在EAL-Bench测试中,记忆写入器为45.4%的未授权请求创建虚假权限,执行器在99.0%的尝试中会基于此执行。 结果表明,记忆级安全措施虽能降低清洗风险,但也可能误拒合法操作。这揭示了安全性与实用性的权衡,并证明持久化记忆是代理有效授权策略的一部分。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
EntailLLM框架通过特殊LLM智能体与验证机制,将漏洞分析的智能体输出提升至98%的蕴含度。该框架在3类CWE标准和8个二进制文件上进行评估,通过结合自我完善与先验领域知识,解决了大语言模型输出静默违反领域知识的问题。 框架继承了广义注释逻辑的形式化保证,为安全关键场景(如医疗设备)中的模型输出提供可解释且基于明确语义的逻辑验证。
研究发现 Claude Code 在将长会话历史压缩为摘要时存在失效模式,被终止命令的部分输出被误记为已确认结果。 该机制源于将终端即时观测等同于持久化存储信息,导致虚假阳性跨会话传播且缺乏再验证。 此失效影响依赖智能体会话连续性的数据处理及多步自动化工作流,揭示了工具在报告自身操作结果时的可靠性缺陷。
Safeguard-Conditioned Uplift 框架评估双用途生物助手在部署访问路径下的效用与风险代理指标。该框架通过证据门控机制归因干预来源,并在合法访问预算下选择阈值,仅当答案验证器通过冻结资格测试时才支持内容声明。
研究团队推出 AgentMeter 基准,引入 AgentMeter Score (AMS) 联合评估命令行智能体的任务质量、成本敏感度及零奖励执行资源消耗。 针对描述词偏好导致的评价偏差,提出基于轨迹优化的 AgentMeter-Opt 框架,生成保留任务意图但适配不同语言模型-CLI 组合的描述变体。 实验证明没有通用的最优 CLI,该框架为部署相关的公平评测提供了基础。
针对软件工程智能体难以跨任务复用经验的问题,研究团队提出 MemOp 闭环框架。该框架将“经验证的下游影响”确立为任务无关的记忆效用基准及免标注优化信号,旨在解决智能体重复重建上下文的痛点。
论文发布TwinRouterBench基准,包含970个静态路由前缀与500例SWE-bench Verified动态测试,支持快速离线迭代与端到端验证。 静态轨迹基于downgrade-and-cascade协议生成确定性评分,动态轨迹锁定模型池并以任务解决率和实际API支出为指标,所有代码和数据已开放获取。
论文提出 DIAL 方法,通过信号无关的反事实探索训练稀疏门控,以学习不同环境下的效用方向。 该方法在 6 个环境和 3 种基础模型上展示了比固定方向基线更强的成功-成本权衡。代码已开源,文章被 NeurIPS 2026 接收。
RoboGene 提出了一种由多样性驱动的 Agentic 框架,用于生成单臂、双臂及移动机器人的多样化操作任务。 该框架结合多样性采样、智能体自我反思及人工验证反馈,构建了 18k 条轨迹数据集。使用 RoboGene 生成的数据进行训练后,VLA 模型在成功率与泛化性上显著优于 GPT-4o 和 Gemini 2.5 Pro。
FinAutoRubric 实现专家引导的自动评分细则(rubric)生成、审查与验证,用于评估金融研究智能体。 其采用可复用专家指导、任务库(Task Bank)及长时程循环,由写作智能体研究预期值、审查智能体验证,失败升级至人工。 在三个专家撰写基准上,其评分细则与专家评分贴合度媲美最强生成器,内部分析师在盲评中更偏好该结果。