Singularity-Bench:能否让智能体构建智能体
Singularity-Bench 提出了一项开放式的智能体自主开发基准,包含预训练、推理、集群编排等六个端到端任务,要求智能体从极简起点实现核心系统并与成熟人类基线同硬件对比。
Singularity-Bench 提出了一项开放式的智能体自主开发基准,包含预训练、推理、集群编排等六个端到端任务,要求智能体从极简起点实现核心系统并与成熟人类基线同硬件对比。
基于构建的数据集对比发现,LLM 委托任务未带来一致性准确率提升,效果因模型而异。 当涉及编排器无法获取的知识时,委托可能大幅降低准确率,而直接工具使用表现更好;主要失效模式包括查询扭曲和工具使用低效。
针对多轮 LLM 智能体强化学习中因轨迹展开导致的统计重复计算与目标质量失衡问题,论文提出了结果质量对齐(Outcome-Mass Alignment, OMA)方法。
研究团队提出 ReA-Bench,一个用于诊断 AI 智能体审计行为的基准测试。 该基准包含六个层级的挑战,并配有成对的轨迹版本,样本主要源自真实生产轨迹。 ReA-Bench 旨在帮助服务商识别风险,弥补现有基准在审计失败归因方面的不足。
论文提出时空上下文(STC)框架,主张个人智能体的瓶颈在于上下文表示形式而非模型容量。该框架定义时间与空间双轴,确立六条不变量,并基于 SQLite 和 34 万文档构建本地优先原型。此研究旨在解决实体指代、事实时效及来源溯源问题,提升证据覆盖与冲突处理精度。
研究提出 ReSHAPE 任务,分析 5800 个由智能体修订的旅行与购物规格。 发现正确权衡可使规划器找到可接受计划的频率提升 4.6 倍;展示计划比询问偏好在 F1 分数上高 9.7 点。 规划智能体应将请求视为假设,通过用户对具体计划的反应识别其权衡。
提出证据治理演进(EGE)框架,用于管理自主 AI 智能体自生成修改的采纳过程。 该框架将候选生成与确认采纳分离,要求通过新鲜配对审计及预设主要目标的显著改进,并结合 Hoeffding 界与参考程序校准样本建立统计保证。 研究强调保障条件依赖于有界配对分数、新鲜采样及有效参考评估结构,不确立通用智能体安全或应对任意分布偏移的鲁棒性。
团队发布 Causals 开放知识图谱,初始版本基于新闻报道构建,包含 369,184 个节点和 1,272,418 条边。 该图谱链接事件、组织、商品及金融工具等实体,区分结构关系与因果主张,支持多跳检索。 它为大语言模型检索相关上下文并应用机制到特定事件提供了共享关系知识,数据以 CC BY 4.0 协议开放。
该系统整合公共卫生检查与大众点评数据,为餐厅决策支持提供基于证据的可审计推理。 研究评估了三种智能体配置:仅数据库 ReAct 智能体、结合法规检索的智能体,以及生成结构化假设的本体引导智能体。 工作将餐厅选择定位为人机协作、智能体推理视觉溯源及生成式 AI 决策支持界面设计的具体案例。
NIBench 发布了一个神经影像基准,评估自主 AI 智能体的执行、技能进化与科学判断能力。 基准包含 3 项互补评估,涵盖 56 个任务、7 种工具生态系统及 36 条阿尔茨海默病研究声明。 测试了 19 种语言模型,结果显示领先智能体执行既定协议表现近乎完美,但缺乏流程指导时性能差距扩大,且蒸馏技能在未见任务上的迁移效果不一致。
提出 DISCERN 框架,解决 Agent 跨会话记忆中的实体消歧与时效性问题,主张“写入时保留,读取时解析”。在 ENT-310 基准测试中,DISCERN 的实体解析准确率达 0.800,显著优于基线系统的 0.40,且拒答校准 F1 值为 0.924。 该框架构建严格加性双时态溯源图,读取时使用无 LLM 工具表面驱动智能体循环,避免合并易混淆实体。
MemCredit 框架将记忆选择标准从语义相关性转向决策效用,在 ALFWorld 任务中于 500-token 预算下取得 86.57% 成功率,显著高于 BM25 检索的 65.67%。 该框架通过受控反事实干预估计记忆边际贡献,利用轻量级效用评估器在固定 token 预算下筛选记忆,无需修改底层智能体策略。 研究结果表明决策效用比单纯的相关性更能有效提升长程智能体的记忆管理性能。
研究提出情感-情景回顾(AER)任务,定义“事件-情感解耦”为召回正确情感但关联错误事件的失效模式,用于诊断记忆增强型智能体。 基于 GoEmotions 基准测试,EM-TRACE 框架显示仅情感检索的情感恢复率为 28.65%,目标事件检索率仅 4.44%,UAR 为 24.21%。 结果表明,事件检索与情感分配存在不同绑定失效,需联合评估事件检索、情感恢复、绑定及生成质量。
针对长期存续的个人 AI Agent 缺失激励层的问题,文章构建了包含合约化操作点和验证机制的委托-代理模型。 实验显示,提示词层面的激励框架无显著效果(p=0.62),而运行时资源分配使最困难任务成功率从 0.60 提升至 1.00(p=0.008),但成本增加 4.8 倍。 代码、模拟器及所有结果已公开,实际部署仍属未来工作。
SkillEarth 提出一种自进化技能提取方法,无需专家干预或模型参数更新,即可从演示轨迹中自动提取遥感工具调用知识。 该方法将知识外化为可复用、可检索且可进化的技能文件,通过结合双裁判反馈与基于观察的路由图,实现组件级别的精准优化。
在公共服务场景下,研究构建四个专家验证场景,收集了十种 LLM 智能体在四种提示条件下的 2400 条轨迹。 96.9% 的开放式运行中智能体阅读了记录,但仅 18.7% 生成了产出或自选任务;给定明确任务时生成率升至 86.0%。上下文减少 60% 的边界探查回合,但部分产出与记录矛盾。 研究发布了一套无需标注数据的规则分类学测试,公共服务机构可在采购前用于自有记录。
研究提出物理约束掩码近端策略优化(PCM-PPO)方法,解决土卫六深空探测因距离远、环境复杂导致的实时地面规划难题。 方法建立土卫六专属离散时间马尔可夫决策过程,整合中心引力、J2摄动及下行链路遮挡等系统动力学与几何模型,通过物理约束动作掩码引导策略学习。 该方法为土卫六深空探测器提供了可行且可解释的自主任务规划方案。
提出 EvoTrias 架构,通过治理、提议与评判的分权解决智能体程序演化中的权限错配问题,在数学及系统设计等基准测试中刷新 SOTA 记录。 该架构通过类型化合约与运行时钩子强化边界,支持作为插件将现有代码智能体转化为演化系统,并验证了各权限模块的独立价值。 治理与提议的分离将 token 成本降低 64%,开放提议使演化范围扩展至 68 万行工业级代码库,保护评判确保基准分数在迁移中的忠实性。
SimRec 通过强化学习训练工具集成推荐代理的完整交互策略,引入基于任务的用户模拟器和对齐奖励,使用 GRPO 优化整个轨迹。 在 ESCI 和 Amazon C4 数据集上,SimRec 将 Qwen3-4B 代理的 NDCG@100 分别提升至 35.42% 和 24.72%,性能超越更大基座的免训练代理,且训练后的代理在候选验证和推荐恢复能力上显著增强。
VbD 方法在保持模型权重固定下,通过协同进化 Actor 与 Evaluator harness 解决测试时无外部反馈难题。 在 AutomationBench 等基准上,VbD 取得最高分,相比最强基线分别提升 3.3、4.1 和 2.3 个百分点。 实验证实主动验证与 Evaluator 进化对提升输出选择有效性起关键作用。
GuardScope 是一个用于量化 LLM 智能体运行时控制动作检查覆盖率的框架。 该框架分两阶段工作:静态阶段预测控制可检查的 15 条动作路径中的哪些,实证阶段在 8 种拓扑设计之一上运行固定负载,通过将控制决策记录与内核级基准比对,将每个已执行动作归类为已检查、已绕过或被阻止。
研究提出包含 280 个实例的 WordInferBench,评估智能体在 Word 文档中推断属性的能力。基准涵盖 13 种对象类型,测试三种指令条件。结果显示 Claude Code with Opus 4.6 在推断型任务中通过率仅 40.7%。
HyperSkill 提出免训练全模态 GRPO 框架,冻结骨干模型,利用超图索引技能库替代梯度更新。在 11 个基准测试中,其平均 F1 分数比最佳基线高 13.0 点。 该框架包含训练时蒸馏、门控超图检索和执行协议,软件与数据已公开。
GuardianAgentFlow 提出一种多智能体框架,通过显式发布契约中介外出 Web 请求,以区分经脱敏处理可发送的请求与必须扣留的请求。 该框架包含限制检查、共享保护范围及基于候选者的反馈机制;实验表明其在人工审查意图标签的 Web 请求中提升了请求契约成功率,且协调效益在更小中介模型下依然存在。
研究提出 CoLFA 方法,利用多智能体系统中的协作线索重组归因输入,在五个测试场景和三种基础模型上实现了最高的精确步骤定位准确率。 该方法通过交接引导的步骤扩展和交叉引用内容组织,将准确率相比基线提升最高 37.50%,同时降低 token 消耗最高 97.6%。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
EvoX 是一款 Rust 编写的多模型 Agent 运行时,它基于“第二政策”将 harness 视为 Operational Policy,以补充模型的 Semantic Policy。
ToolTurns 包含 2,620 个问题和 1,827 个工具,测试 LLM 智能体在多轮对话中的澄清与工具使用能力。 在 9 个语言模型中,最佳智能体完成 69.6% 的单次请求但仅 39.8% 的完整对话;所有模型在后续请求上的成功率均低于初始请求。 该基准为评估智能体在带工具的多轮对话中维持任务成功率提供了测试平台。
研究揭示编码智能体存在终止滞后现象,38%至82%的成功运行在首次编辑时即获得正确补丁,但智能体仍继续运行。 Qwen3-Coder在SWE-bench Verified等数据集上的解决后步骤占比中位数为35%至37%,Laguna-XS.2为54%至60%。 这部分额外步骤主要用于验证和探索,1%至8%的情况会导致智能体撤销正确的补丁。
RSI-PDEbench 发布了包含 1001 个案例的基准,涵盖 42 种方程模板,并提出了递归自我改进智能体 RSI-PDE。 该基准提供 Full、Noisy 及 Hard-OOD 三种评估设置,测试无噪声、高斯噪声及分布外泛化能力。 RSI-PDE 相比单次基线提升通过率 106.5-181.9%,比原生框架提升 3.0-19.6%,并减少 46.9% 的模型调用次数。
研究提出 Persona Simulation 框架,将行业问题转化为模拟用户实验,支持大规模并发运行和可审计日志。 在 5 个领域的 12 个行业案例中,该框架通过构建难以触达的人群队列,验证了跨模型结论一致性,并表明 persona 属性扰动会显著改变结果。 模拟用户能以前置设计速度测试特定队列,为诊断系统、引导设计和战略决策提供方向性证据。
AAMAS 社区指出,随着 Agentic AI 系统代表人类执行扩展任务,人机交互成为决定系统有效性的核心。 研究认为,理解人类视角并协调互补能力是成功交互的前提,涉及从个体伙伴关系到大型团队协作的不同层级。 文章主张应将人机交互视为受不确定性、相互依赖性及潜在目标冲突塑造的持续决策问题。
研究通过合作卡牌游戏The Mind评估150名人类及计算机使用智能体、文本提示LLM在禁止显式沟通下利用时间线索的协调能力。 人类行为及前沿模型表现最符合推断伙伴信念的贝叶斯策略,但所有被测模型均未能随游戏进程高效适应用户伙伴。 研究发现暗示无实时体验也可能涌现隐式概率推理机制,凸显AI系统协调面临的新挑战。
提出多任务自进化框架,同一冻结模型既作 solver 又作 proposer 直接编辑自身 Harness。 从 49 行种子起步,GLM-5.3 和 GPT-5.6 Sol 在 5 个基准上提升约 5 分,达到或超越 Claude Code 与 Codex 表现。 在 5 个分布外基准上 GPT-5.6 Sol 表现与 Codex 持平,且进化出输出截断、历史压缩等机制。
该研究指出,委托AI审查存在对齐难题,提出“k-鲁棒联盟对齐”条件。该条件要求移除k个审查员后,委托人效用可表示为剩余审查员效用的非负组合,是保证策略不劣于基线的充要条件。 在折扣MDP中,策略安全性需满足全状态必要充分条件;实验表明,即使存在未对齐个体,集体审查在容忍部分否决时仍可保持可靠。
LLM-based agents的行为轨迹可被压缩为紧凑的有限状态机(FSM),在12个公开数据集上,FSM状态数仅为7-43个,回放精度达0.997以上,且毫秒级构建。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
提出基于抽象语法树的定理证明智能体 AoA,将证明操作与状态融合,显著提升推理效率。 AoA 在 miniF2F 和 NTP4VC-Pearl 上较 Amazon's Isabelle Agent 降低 2.3--4.7 倍 API 成本,减少 3.9--8.9 倍工具调用。 AoA 已发表于 ICSE 2027,解决了更复杂的验证基准问题。
MARS 提出协调工作流准入控制与引擎内调度的智能体服务系统,旨在解决 GPU 内存受限下多轮工作流因 KV 缓存复用导致的反复驱逐(抖动)问题,实现高工作流级 goodput。 在两个模型和三种 GPU 配置上,MARS 相比最快基线实现了 1.59x-7.56x 的平均端到端延迟加速,并作为 OpenCode、Codex 等后端将工作流完成时间提升了 1.17x-1.87x。 开源代码已公开。
针对 Agentic 任务中的信用分配问题,提出 RewardFlow,利用共享状态构建有向图并反向传播奖励信号,无需过程奖励模型即可估算动作级优势。在 ALFWorld 等任务上优于 RL 基线,3B 策略下每步耗时 1.47-2.39 秒,代码已开源。