多智能体LLM系统中涌现式推理对齐的测量与增强
研究提出REMAP框架,量化多智能体LLM交互产生的额外推理对齐增益。 在多样模型族和双跳推理基准上,交互增益呈普遍正向,且与同伴信息恢复密切相关。 结果证明集体涌现对齐可被量化,并指导构建高效、低开销的多智能体通信策略。
研究提出REMAP框架,量化多智能体LLM交互产生的额外推理对齐增益。 在多样模型族和双跳推理基准上,交互增益呈普遍正向,且与同伴信息恢复密切相关。 结果证明集体涌现对齐可被量化,并指导构建高效、低开销的多智能体通信策略。
论文提出 Scope-Gap Injection,利用 OpenClaw 竞赛中评估器 S2 不检查附件内容的盲点实现间接提示注入。 该方法将有害指令移至附件中,使 S2 判定无害而 S3 阶段被 Agent 执行,在 19 个目标中成功绕过 5 个,最高得分 $F=0.385$。 附件放置使 S2 通过率达 78%,远高于技能内放置的 23%。
SciValidityBench 提出评估科学智能体记忆决策有效性的基准,包含 64 个 TaskSpecs,覆盖 5 个有效性模块和 6 个科学领域。 该基准通过 SciStateForge 编译器生成决策状态,实验显示编译状态比通用 Event Graph 提升 9.2-18.8 个百分点。 记忆评估重点从检索正确事实转向判断该事实是否应控制当前决策。
HaMo 框架结合非参数经验积累与参数化适应,提升长时程智能体持续学习能力。 实验表明其在域内及跨域偏移下,表现优于单一适配模式,增强记忆保持与适应效果。
CEPO 是一个通用框架,将多智能体系统中的系统级协调与智能体级执行分离,通过共享协调提示词和特定执行提示词提升优化效果。 该框架提供结构指引,由现有提示词优化器执行搜索,在跨 4 个领域的 11 个基准测试中,应用 CEPO 一致提升了 4 种优化器的性能。 控制实验显示,在文档理解多智能体系统中,CEPO 提高了优化预算效率,且性能随智能体数量增加而扩展。
提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。
研究者提出一种自动化课程生成方法,从 LLM 生成的求解轨迹中提取经验,以获取分层任务知识。 该方法在多个规划领域评估显示,自动课程显著降低在线获取分层知识的 token 成本,同时保留了专家设计课程的大部分收益。 论文发表于 ACS 2026,正文 15 页,包含 2 图 1 表。
SlowLab 基准测试显示,在预注册的 48 个未知站点研究中,三个低成本语言模型智能体表现接近标准种植者设置,且明显低于基于该设置的贝叶斯优化基线。智能体将设施作为两个同步批次运行,导致生长季节中采集的测量值未能改变种植决策,且未能改善任何方法的结果。代码以 MIT 许可发布。
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
研究者提出CaliMem框架,通过校准记忆机制解决数据整理策略搜索中的过度泛化问题。在生物及大语言模型后训练任务中,CaliMem优于固定基线及已发表方法,性能比全数据训练高最多19.4%。该系统支持部署时的测试时整理(TTC),代码已开源。
研究表明,七个前沿模型在配备两个工具和一段指导后,能自主决定何时压缩及保留内容。 混合任务会话的实时上下文大多保持在 100k tokens 以下,基准分数未显著下降。 使用 Claude Opus 5.5 时,该框架在任务成功率与 Claude Code 持平的情况下,成本比其 200k 窗口配置低 34%。
研究显示,在可执行能力匹配的情况下,MCP 和 CLI 接口差异显著改变了6个模型在3个交互式环境中的任务表现与交互成本。 研究提出 MICA 框架,在 2,004 个情景中发现 94.3% 存在结构化分歧;进而引入 DART 方法,在6种设置中最多提升基准分数9.0分,并降低 MCP token 成本多达 27,100 tokens。 结果确立了接口表示作为塑造智能体行为的闭环决策环境的一部分。
MultiEvoSkill 提出结构感知多智能体技能进化框架,通过技能编译器、异构智能体系统及结构感知辩论机制优化冻结 LLM 智能体的技能文档。框架将技能编译为显式拓扑的有类型图,利用集体智能识别最小化且信息丰富的问题,并在依赖与重要性约束下解决候选编辑冲突。实验验证了该方法相较于 SOTA 方法的有效性及其跨模型泛化能力。
研究团队提出 CogMemory 变分认知记忆框架,用于增强视觉-语言-动作(VLA)模型在长时程机器人操作任务中的表现,有效克服长期记忆建模不足的问题。 框架通过选择性状态空间记忆编码器、多槽位时间抽象和变分信息压缩将多模态轨迹编码为紧凑潜空间记忆,并仅增加 3.45M 参数,兼容早期和中期融合的 VLA 骨干网络。
summary_zh: MatOS 提出面向材料研究的智能体操作系统,通过分层科学资产图谱、有状态自适应工作流及证据驱动资产进化三大组件,实现多阶段科研任务的可复用与可追踪。
清华大学团队提出 R2A-Sales 基准,揭示销售智能体静态合规率(89.9%-99.1%)与行动合规率(3.0%-17.3%)间存在 80.4-92.5 个百分点的差距。 该基准包含 2,016 对匹配样本,审计 19 个语义核心下的 21,888 次运行,覆盖 8 个主干模型及 Qwen3-8B 提示变体。 研究证明销售智能体可靠性需基于已提交行动而非规则复述来衡量。
OS-Wizard 框架收集 10.9K 条轨迹用于微调开源模型,在专用桌面工作流基准上将性能提升至 64.1%,超越人类水平并确立新的 SOTA。 该框架结合教程引导探索与混合 GUI-代码动作空间,利用应用原生命令简化工作流,并通过树探索检查点重访关键状态以扩大覆盖率。
ReGE框架通过单次教练调用将记录的执行经验合成为自包含指导,在四个基准测试中平均提升GPT准确率9.9个百分点、Claude提升8.8个百分点。 ReGE-Syn在BrowseComp-Plus子集上减少98.2%(GPT)和95.5%(Claude)的指导构建token,总token消耗分别降低15.7%和35.4%。
Numina Fuse 是一款用于在 Lean 4 中进行数学形式化的原生智能体应用。 用户通过蓝图、依赖图和 Lean 代码视图监督 AI 编排器,后端可长时间运行智能体任务。该工作展示了 2026 年从预定义流水线向自主编排器的演进,并应用于三维 Kakeya 猜想的形式化研究。 开源本地版本 Fuse Desktop 已发布,为下一代自动形式化系统提供了设计经验。
AutoTavern系统利用自改进LLM研究智能体在20天内构建了TavernGym模拟器及23个版本的TavernAgent策略。TavernAgent在公开天梯中评分从6,000升至约15,000,在最近20场对局中平均排名1.60且80%获得第一,表现优于服务器前十高评分玩家。
在视觉候选项基准测试中,基于独立编码的 Iris 模型实现了 78.4% 至 74.8% 的准确率,且对候选项顺序变化具有完全不变性(翻转率为零)。 该系统保持决策模块不变,通过让每个候选项独立读取请求状态,在保持顺序不变性的同时,利用共享状态 pass 和分叉 cache 降低了延迟。在 K=2048 的场景下,重用图像候选项可将推理延迟降低 191 倍。
PACE是一个通过结构化研究循环支持应用数学猜想探索的证明智能体。 其核心Prover基于候选机制构建证明,并由独立Verifier对照原始目标校验。证据追踪内存区隔已验证前提与未决义务,支持任务上下文组合。 PACE在包含51个已知证明任务的ResearchProofBench上取得75.16分,完成20个证明。
提出自进化训练框架 MORE,通过两阶段范式自适应选择推理形式与计算量。 Stage 1 建立直接回答、短/长链式推理及代码推理的先验分布,Stage 2 使用 MATE-PPO 在可验证任务流上自我进化。 在 3B 到 14B 模型规模的 coding、math 和通用推理基准上取得性能提升,推理阶段实现更高准确率与更低延迟。
SWE-Ladder 提出分阶段证据蒸馏方法,解决 SWE 代理缺乏定位与复现阶段特定指导的问题。 在 Qwen3-4B-Instruct-2507 模型上,该方法使 SWE-bench Verified pass@1 从 9.6% 提升至 16.4%。 该方法优于 GRPO(10.4%)和 OPSD(12.4%),验证了阶段顺序对性能的关键影响。
提出包含100项任务的基准AlphaIdeaBench,要求科研创意生成受限于资源预算。利用Gemini 3.7 Flash作为LLM评审,在ICLR 2026等顶会600篇论文上验证其与人工评审的一致性。 评测了8种公开框架和8种主干模型,CoI-Agent表现最佳,弱主干模型如Llama 4 Scout在预算可行性上得分较低。开源任务、评分标准及分数以促进标准化评测。
SMART-Med 提出本地化多智能体医疗推理方法,通过不确定性路由机制决定何时直接作答或启动协作。该方法在四个基准测试中性能具竞争力,推理时间减少 3.8 倍以上,token 使用量降低 72%。经 MedVR-3K 微调后,其在多个数据集上平均表现提升 6.7%。
提出 CoEvolve 框架,解决 LLM 多智能体系统中记忆与协作架构静态且更新不对齐的问题。 该框架以技能为中心,利用反事实轨迹比较生成进化信号,协调更新技能库及执行器记忆。在 ALFWorld 和 WebShop 基准上,CoEvolve 取得最优整体性能。
summary_zh: 研究人员提出FraudSociety,这是首个基于LLM智能体的模拟器,用于联合建模金融欺诈中的信息动态与财务动态。 该模拟器通过动态社会环境和持久财务账本形成反馈闭环,验证显示前10%受害记录占81.1%总损失,且最佳干预策略将重复支付率从49.4%降至10.9%。
研究团队提出统一框架 LegoSR,集成七种求解器并支持 Agent 自适应选择,在微分方程基准测试中表现优异。 该框架通过通用方程表示解决比较难题,LegoSR Agent 利用中间结果和经验优化搜索,比通用 Agent 最多高出 29 个百分点,且支持基于部分已知方程的约束搜索。 代码已开源,为科学发现提供了可自我改进的自动化路径。
该研究提出 ConMem 算法,将记忆保留决策重构为先验反事实因果推断,以解决长期记忆中的记忆错位问题。 该算法通过合成反事实交互场景,审计下游干预在任务执行、不变性检查及风险边界方面的影响。 ConMem 在 MemAlign 基准测试中取得 75.16% 准确率、64.15% 平衡准确率和 65.31% Macro-F1,有效缓解了过度保留偏见。
AgentOrch 基准测试揭示,全局编排虽比逐步交互准确率略低,但差距已缩小约79%。 测试覆盖650个企业SOP和3,220个运行时变体,增量构建工作流可提升9.98个百分点准确率,针对性训练平均提升12.18个百分点。 全局编排为减少LLM调用同时保持高准确率的企业智能体提供了可行路径。
AdaPRA 通过持久化代码智能体框架和自适应评分标准监督,减少数据科学流程错误。 在 5 次尝试中,AdaPRA 使 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 上的排行榜百分位分别提升 24.5 和 14.8 分。 该方法验证了易任务评分标准可泛化至难任务,且优于 DataPRM,代码已开源。
AOS-Bench 提出评测 LLM 智能体在共享 CPU 和内存限制下管理动态工作负载的能力,指出隔离任务的成功率无法直接迁移到流式任务中。 在五组模型-框架组合中,重负载下所有系统的成功率下降 13 至 23 个百分点;中等负载下系统间表现差异最大可达 26 个百分点,而固定并发为 2 的策略表现接近最优智能体管理策略。
OpenAI 与 Oracle 扩大合作伙伴关系,将业务应用和 AI agents 接入 ChatGPT,并驱动 Oracle 的新产品。 双方合作涵盖应用集成与产品创新。
Qoder Cloud Agents 采用 RocketMQ LiteTopic 架构,通过模型推理与工具执行解耦支撑规模化长程任务。9 月 16 日发布的 1.0 版本月调用量超千万。该架构以 LiteTopic 建立细粒度有序通道,结合 Suspend 机制控制消费,实现计算资源按需分配与任务状态持久化。
数字员工产品 QoderWake 的 @Waker 功能正式上线群组支持,使单个机器人或用户账号可连接多个 Waker 与群组,实现数字员工团队在群内自主分工协作。
开源本地网关 Magpie 允许用户通过一份配置让多个 AI 编程工具共用硅基流动 API Key 及其他模型来源,支持路由组按策略调度多模型。 工具支持 Codex、Claude Code 等,可添加本地模型或订阅账号作为来源,提供用量视图查看请求次数与成本。
在 Terminal Wrench 基准中,约 77% 的奖励作弊仅靠动作即可识别,剩余 23% 依赖推理的作弊使监控模型在特定攻击下检出率从 95% 骤降至 4%-11%,而池化准确率仅下降约 25 分。
HealthAgentBench是一套包含75个智能体医疗任务的基准,由研究人员发布。 该基准覆盖9个类别,任务要求智能体在复杂环境中处理原始数据并执行多步操作,如查询大型数据库或解读病理图像。测试显示,Claude Code Opus-5.5以57.3%的成功率领先,各AI智能体在CT和MRI等专业影像模态上的表现普遍较弱。
针对Mem0记忆机制下57.5%的偏好检查违规率,TellOnce 提出一种即插即用个性化层。 它将对话中的修正转化为持久、有作用域且可修改的行为规则,无需更新底层模型。 在 ClawArena 上较 PGMem 减少 19.3-42.3 个百分点违规率,并保持任务表现。
最多提供 50 页,更早的内容请使用搜索或主题页。