美团《Agent评测白皮书》:商家AI助手评测与优化闭环实践
美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。
美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。
NestRL 提出了一种嵌套训练机制,将人类-AI 协作建模为交互式部分可观测马尔可夫决策过程,通过在每一层级与下一层级的适应性智能体共同训练,避免了标准多智能体训练中不透明协作策略的产生。 该方法在 Overcooked 环境中进行验证,相较于现有基准,NestRL 在应对未知适应性智能体和真实人类队友时均展现出更高的任务表现及更强的交互适应性。
基于 Qwen3.5-9B 的 Pac-Man 空间智能体通过课程学习将文本迷宫清空率从 0% 提升至 81.25%。 模型适配与 harness 改进使固定地图清空率从 26.6% 升至 96.9%,证实 harness 设计是决定智能体性能的关键因素。
Etas 提出了一种将智能体抽象为编译器可检查构造的效果类型语言,支持对智能体系统的静态分析与监控。 通过 Rust 实现的编译器与优化器,Etas 在 12 个工作流中减少输入 token 67.8%,执行时间降低 23.2%。 首次类智能体抽象支持递归自我进化,在五轮迭代中任务准确率从 69.9% 提升至 78.9%。
Orbis 2 提出了一种分层驾驶世界模型,通过解耦高阶预测器和低层生成器,实现了高级别感知保真度与强大的空间语义表示。 该模型采用扩散强制预训练和教师强制微调的两阶段训练范式,在驾驶世界模型的标准基准测试中取得了最先进的结果。 Orbis 2 已被 NeurIPS 2026 接收,项目页面提供了代码、演示和检查点。
现代 LLM 智能体常因短视和极化交互导致协作次优,MACE 框架通过结构化同伴选择显著提升了探索行为与任务性能。 MACE 在上下文和参数多样性设置下均有效,且实现了亚线性期望遗憾界。 研究强调了显式引导探索对实现可靠多智能体自主性的关键作用。
该系统采用模块化设计,通过预生成和代码生成双重验证及递归有状态编码范式,确保了不同贡献者开发的组件能连贯组合。 实验证明其能从纯自然语言描述实现广泛贝叶斯模型,软件已开源,性能随底层 AI 智能体迭代持续增强。
研究提出Phoenix-bench基准,通过511个Verilator实例评估智能体AI在硬件工程中的表现。 结果显示,智能体在SWE-bench Verified与Phoenix-bench间性能下降37%-58%,失败集中在FSM及跨层级信号流追踪。 定位粒度比定位本身更重要,测试反馈使解决率提升42%-45%。
研究提出Hawkes-PPO方法解决自主AI代理下的人类接管时机与验证强度问题。该方法利用指数记忆滤波器总结事件历史,在合成实验中目标值优于固定策略和无历史滤波器基线。 模型通过平衡收益与成本优化切换率,验证努力可削弱事件传播。
针对 LLM 上下文窗口限制,提出“智能体互联网”(IoA)架构。 新增 L8 通信层与 L9 语义层以支持协作。在两个真实数据集上,L9 的歧义消解使准确率提升 13-72 个百分点。
ODEWorld 提出物理时间流(PT-Flow)方法,将未来预测重构为普通微分方程(ODE)求解器在压缩潜空间中的时间积分。 该连续潜变量世界模型通过强制动力学表示空间和潜变量速度场满足 ODE 属性,有效解决了表示崩溃问题,支持任意时间分辨率及向后预测。 实验表明 ODEWorld 在视频生成和机器人控制任务中均表现优异,实现了规划导向动力学抽象与视觉真实性的平衡。
该综述针对数据智能体术语混乱的问题,提出首个六级层级分类法,将自主性从手动操作(L0)划分为生成式完全自主(L5)。 借鉴SAE J3016驾驶自动化标准,按自主性递增梳理数据管理、准备与分析研究,重点解析L2至L3从程序化执行向自主编排的技术鸿沟。 该框架明确了能力边界与责任分配,为构建前瞻性生成式数据智能体提供了路线图,并附带代码库。
针对N臂随机决斗臂问题,提出Tree-Guided Identify-Then-Exploit统一框架。 该框架首次实现最佳臂识别与最小后悔目标的联合优化,在正全局间隙假设下,无需传递性假设。 实现$O(N)$弱后悔与样本复杂度,达到$O(N\log T)$强后悔订单,结果被NeurIPS 2026接收。
提出多智能体 LLM 强化学习的边际贡献策略梯度方法,解决单一奖励信号带来的高噪声问题。 证明贡献信号能保持系统梯度正确性,并将梯度噪声分解为三项以优化学习过程。 在 GSM8K 数据集上使用 Llama-3.2-3B 验证,贡献信号比共享奖励学习更快(p=7.5×10^-5)且容忍两倍的学习率。
研究人员提出 TAB 方法,将多轮推理建模为多目标马尔可夫决策过程,动态分配计算预算。 在数学推理任务中,TAB 比静态基线减少最高 35% 的 token 消耗和 30% 的延迟。 该方法成功泛化至工具调用和对话等智能体工作流,在保持精度的同时节省资源。
该框架将学术综述重构为长期维护问题,通过智能体(Agentic AI)实现综述文档的持续更新,使其能随研究进展动态演进。 框架采用回顾性实验验证,能在增量整合新研究的同时,保持综述结构与连贯性,有效解决因研究产出快速增长导致的综述过时与碎片化问题。
Vestrum 通过改进现有智能体框架组件,从 1 到 10 个长开发轨迹中学习,在五个设置中提升了未见任务的性能。 在 Claude Code 上,Vestrum 将 Terminal-Bench 4 Hard 从 63.7% 提升至 70.3%,在 GAM 系统上将 UltraHorizon 从 47.6 提升至 59.8,且泛化过滤器防止了过拟合。
提出SADL方法解决JEPAs中的表示坍塌问题,无需额外参数或架构改动。 通过约束编码器以匹配正则化器需求,SADL将坍塌率从50%降至0%。 在控制与图像分类任务中提升学习速度与稳定性。
针对 AI 代理中工具调用成功但工作流失败的问题,提出效果历史模型并整理八种外部效果异常,指出黑盒工具调用无法提供通用保证。 基于官方 MCP 注册中心 98,291 个工具的测量显示,现有标准注释词汇仅提供粗略提示,无法完整表达排除异常所需的能力。 该研究动机是推动在工具边界建立可复用的事务性契约。
研究人员提出多智能体关系信念优化框架 MARBO,利用关系信念指导 LLM Agent 的策略决策与游戏内语音。该框架仅在行为由可靠信念支持且带来有利社交结果时提供偏好反馈,确保学习一致性。实验表明,MARBO 使小型 LLM Agent 持续优于现有基线,代码已开源。
提出 REVISE 运行时,通过细粒度依赖追踪解决 Agent 工作流修订时正确性与效率的权衡。在基于 Qwen3-14B 的测试中,相比完全重启减少 40.6%-56.0% 的模型调用。在真实编码 Agent 追踪中,实现了无陈旧输出的精准恢复。
SkillBoost 提出三阶段框架,在 23 种模型-基准配置中实现 SOTA 性能并有效缓解技能过拟合。 该框架通过结构化利用、先验引导探索和验证接受机制,确保在性能提升的同时不回归已解决案例。
提出 AgentNAS 管线,结合 LLM 设计种子架构并分解为槽位化搜索空间,再由传统 NAS 算法探索。 在 NAS-Bench-360 和 Unseen NAS 的 17 个任务上,AgentNAS 在 11 个任务中优于已发布基线及专家设计。 研究表明 LLM 快速发现强架构后趋于饱和,切换至 NAS 可带来进一步提升,二者互补。
提出 SIRI 框架,让 LLM 智能体在无外部技能生成器的情况下自发现、验证并内化技能,推理时仅使用原始提示词即可运行。 在 Qwen2.5-7B-Instruct 上,SIRI 将 ALFWorld 性能从 GiGPO 的 0.908 提升至 0.930,WebShop 从 0.728 提升至 0.813,表现优于基于提示、强化学习和记忆增强的基线方法。
SREGym 是面向 SRE 智能体的高保真实时基准,包含 90 个现实 SRE 任务,基于真实云原生系统栈通过故障注入器模拟多层级故障、环境噪声及亚稳态失败。 评估显示前沿智能体在不同故障类型上的端到端性能存在最高 40% 差异,该开源项目已被研究人员和从业者用于测试。
提出首个专为科学构思设计的多智能体奖励系统,通过辩论机制提供稳健的二值奖励,有效解决强化学习中的奖励作弊问题。 该系统利用无偏 Group Relative Policy Optimization 消除长度偏差,并基于 ICLR 2024 和 NeurIPS 2025 的论文数据训练,在新颖性、可行性等指标上显著优于现有基线。
研究证实不安全 agent 行为可通过模型蒸馏潜意识传递,尽管数据已过滤显性关键词,学生模型仍继承偏差。 API 学生模型在 35.5% 模糊任务首选破坏性动作(基线 1.2%),多轮执行中 33.9% 资源不可逆损毁(基线 6.4%)。 显式数据清洗不足以防御,需根本性新策略缓解 agentic 系统行为偏差传递。
AgentGA框架通过优化智能体种子进化自主代码生成,在Weco-Kaggle Lite基准测试中表现优于AIDE和AutoGluon。使用DeepSeek V4 Flash (0731),AgentGA平均超越人类比例为71.13%,在14/16项任务上超越AIDE。该方法结合群体遗传算法与长程智能体,通过修改的Hedge控制器实现在线算子分配,验证了智能体种子优化的实用性。
GAAMA通过以话题为中心组织对话,结合LLM提炼事实与概念,在LoCoMo10基准上取得79.1%最高平均分,且GRAFT机制能离线修复检索不足。 该方法定义了四种节点类型与五种结构边,利用话题概念提供跨切路径避免超大节点;检索融合最近邻相似度搜索与基于边类型的个性化PageRank。 概念链接事实比实体关系三元组提升3.0个百分点奖励,GRAFT将接地答案记录为新事实,使后续查询直接命中。
针对多智能体系统中语义故障调试难题,论文提出基于模态逻辑神经网络(MLNNs)的可微模态逻辑(DML)框架,从行为数据中学习信任网络与监管边界。 框架通过认知、时间、义务及信念四种模态,将逻辑矛盾转化为可学习的优化目标,支持在无人机集群暴露攻击者及LLM代码审查等场景部署。 该研究提供了可解释的学习结构及差异公理知识注入方法,所有代码以可执行Python脚本形式公开。
CODE-SHARP 框架利用基础模型自主生成 Python 层级奖励程序,使通用智能体无需预定义奖励即可从零训练,在 Craftax-Classic 基准上性能超先前工作 6 倍,且是唯一能锻造铁器并挖掘钻石的智能体。
提出谈判基准 PieArena,评估 LLM 在现实商业任务中的战略推理与心智理论能力。基准基于精英商学院课程场景,通过镜像、交叉及人机配对制度进行测试,并开发连续收益排名模型生成序不变且带不确定性量化的排行榜。研究发现共享意向性脚手架对中低层 LLM 提升显著,而前沿 LLM 收益递减;代表性前沿语言智能体的表现达到或超过经过培训的商业学校学生基准。
研究团队提出ESGAgent分层多智能体系统及基于310份报告的综合基准测试。 该智能体结合检索增强与网页搜索工具,在原子问答任务上达到84.15%的平均准确率。 此基准测试为评估高利害垂直领域的智能体能力提供了关键测试平台。
SPECTRUM框架通过线性时间复杂度挖掘逻辑规则,显著降低神经符号AI中逻辑理论构建成本。 框架定义规则效用指标并证明理论保证,在CPU上运行时,学习更准确逻辑理论的速度比GPU上的SOTA神经网络快100倍以上(运行时间<1%)。
Jac 是 Python 超集语言,通过“by llm()”和对象空间编程统一 LLM 操作、工作流与状态管理。 相较于 OpenAI SDK,Jac 在五个基准测试中将 AI 集成代码量降低 1.8-8.7 倍。 该设计使编译器可见控制流,支持自动优化并降低开发测试成本。
Think2Listen 提出了一种以证据为核心的多模态音频智能体学习框架。 该框架通过迭代推理与 LALM 交互,引导模型主动寻找区分假设的声学线索,从而增强多步音频推理能力。在两个基准测试中,其整体准确率相比竞争音频智能体提升了 5.08%--17.67%。 该方法显著提升了语音、声音和音乐的理解与推理,准确率相比基线提高了 2.29%--13.10%,源码已公开。 ```
LightAct 框架将交互经验转化为技能引导,在 170 个 GameWorld 任务中提升 2B、4B 和 9B 模型进度 23.6、29.2 及 13.0 个百分点。 该框架使用 1,024 个决策根节点构建紧凑数据集,通过短 rollout 对比候选动作并归一化奖励,9B 模型性能媲美专有模型。 消融实验证实技能引导下的根状态覆盖广度提升了强化学习效果。
基于 10 周真实软件开发场景分析,缓存上下文读取占 API 报告 Token 的 94.8%,缓存感知混合估算器评估该工作负载能耗约为 250 kWh。 现有基于输出的 EcoLogits 估算器仅评估 10 kWh,两者存在 25 倍差异;父会话日志对委托子代理 Token 存在 10 倍低估。 研究凸显工作流级能耗核算的必要性,需涵盖上下文累积、缓存复用及委托执行场景。
ProcReverser 利用多智能体系统自动化黑盒微架构逆向工程,通过执行反馈优化实验计划并识别微架构属性。该系统在 C910 和 gem5 O3 上分别取得 Pass@1 81.3%/83.0% 及 Pass@5 93.8%/100.0% 的分数,并覆盖 Spectre 类攻击相关机制。 该工具支持处理器漏洞分析与防御评估,在 SiFive P550 上进一步表征了任务套件覆盖的微架构属性。
MASTA 提出多智能体系统,用于端到端的 Tamarin 形式化验证与安全协议分析。系统采用 Architect、Auditor 和 Arbiter 角色分解,通过 Tamarin 锚定的调度器路由修正。