Singularity-Bench:能否让智能体构建智能体
Singularity-Bench 提出了一项开放式的智能体自主开发基准,包含预训练、推理、集群编排等六个端到端任务,要求智能体从极简起点实现核心系统并与成熟人类基线同硬件对比。
Singularity-Bench 提出了一项开放式的智能体自主开发基准,包含预训练、推理、集群编排等六个端到端任务,要求智能体从极简起点实现核心系统并与成熟人类基线同硬件对比。
AstroMemBench 是一个针对航天器具身智能体记忆系统的基准,包含 16 项记忆子挑战、140 个模板和 2240 个实例。 该基准通过确定性环境评估任务完成度、状态变化、安全性和资源使用,涵盖行星表面作业、在轨服务和深空探索等九大任务。 实验显示 Mem0 等在会话重启后优于 RAG,支持航天器具身智能体记忆系统的设计与选型。
研究团队发布 Lara Mini Base,这是基于 6T tokens 和 44 种语言训练的开源多模态 MoE 模型,总参数量 7.2B 且激活参数 0.6B。该模型在标准英语、多语言、数学及代码基准测试中,以少于主流模型 4 至 6 倍的训练数据量取得最高平均分。其 128k 上下文支持及单 GPU 无量化 1.8 倍推理速度优势,证明了 MoE 架构有效缓解了多语言训练中的容量竞争问题。
SPADE框架利用提示词对文本生成的影响作为判别信号,在分布外数据上取得SOTA性能。 它通过点互信息衡量提示词影响,每类训练一个软提示以最大化类间分离。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
基于构建的数据集对比发现,LLM 委托任务未带来一致性准确率提升,效果因模型而异。 当涉及编排器无法获取的知识时,委托可能大幅降低准确率,而直接工具使用表现更好;主要失效模式包括查询扭曲和工具使用低效。
针对多轮 LLM 智能体强化学习中因轨迹展开导致的统计重复计算与目标质量失衡问题,论文提出了结果质量对齐(Outcome-Mass Alignment, OMA)方法。
对基于 ModernBERT-large 的 Laya 模型进行 19 次微调实验发现,随着 LLM 生成训练数据量增加,准确率从 69.4% 升至 86.9%。
MuSeToM 发布包含 2415 个实例的人机验证文本基准,用于评估大语言模型在理论推理中的认知信念修正能力。该基准改编自 BigToM 和 OpenToM,涵盖六种感官类别的文本线索,测试模型判断信念是否应修正及推断更新后状态的能力。 系统评估显示,模型常能检测到信念可能改变,但难以识别更新后的信念,且频繁基于感知显著但认知不足的线索进行过度更新。
研究团队提出 ReA-Bench,一个用于诊断 AI 智能体审计行为的基准测试。 该基准包含六个层级的挑战,并配有成对的轨迹版本,样本主要源自真实生产轨迹。 ReA-Bench 旨在帮助服务商识别风险,弥补现有基准在审计失败归因方面的不足。
Unibuc - NLP 团队使用多数投票集成经典 ML 模型,在生成式 AI 检测子任务中取得约 99.4% F1 分数。 该集成包含 Light GBM、XGB、Logistic Regression 和 SVM。
具身智能体推理框架 HeMeR 实现了 83.20% 的任务成功率,将单步推理时间从 2.94 秒降至 1.87 秒。 该框架通过协调陈述性、程序性及工作记忆,仅对受记忆更新影响的 KV 状态进行重算,复用未变内容的 KV 状态。 该方法已在 ALFWorld、Habitat 及真实机器人部署中验证,并被 NeurIPS 2026 接收为 Oral 论文。
提出查询引导的选择性上下文压缩框架 CoMem,在问答和 RULER-NIAH 基准上优于现有方法。 采用对比压缩器学习生成查询敏感且保留上下文的记忆表示,并通过同上下文硬负样本挖掘及双向注意力机制优化信息流。 该框架旨在解决有限记忆预算下长输入推理的效率挑战,代码已开源。
Qwen2.5 小模型(1.5B-14B)经提示词优化可路由推理、检索等能力,14B 路由器下游 token 消耗减少 68.7%。 最小提示下增大容量未一致提升分类性能,提示优化缩小了推理和计算器路由的容量差距,但 RAG 和 Web 搜索仍受益于更高容量。 14B 路由器 BERTScore F1 达 0.8408,接近全能力启用的 0.8418,中位延迟降低 80.5%。
提出证据治理演进(EGE)框架,用于管理自主 AI 智能体自生成修改的采纳过程。 该框架将候选生成与确认采纳分离,要求通过新鲜配对审计及预设主要目标的显著改进,并结合 Hoeffding 界与参考程序校准样本建立统计保证。 研究强调保障条件依赖于有界配对分数、新鲜采样及有效参考评估结构,不确立通用智能体安全或应对任意分布偏移的鲁棒性。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
AI 提升组织数据产出与分析能力,数据科学家核心价值转向评估结论可信度、重要性及证据跨情境泛化能力。 基于 2026 年 CIDER 圆桌会议,探讨保留实验学习价值、结合实验/观察/合成证据及确保评估跟上 AI 演进三种路径。
研究团队提出 MindMem,一种受认知心理学启发的记忆框架,能异步整合共享经历并预测用户潜在需求。 在自研基准 MemReal-Bench 上,MindMem 的 SMR 得分达 59.03%,DQA 得分达 82.58%,分别超最强基线 24.19 和 9.19 个百分点。 代码与数据集已公开。
研究人员提出名为 Fikiria 的斯瓦希里语数学推理模型,采用 SFT+GRPO 两阶段训练策略。在 AfriMGSM 斯瓦希里语测试中,Fikiria-AfriqueQwen-14B 取得 79.2% 准确率,高于 GPT-4o 的 68.0%。
针对120轮客服对话的配对测试显示,听众在“人类相似度”与“会话偏好”上的评判存在显著差异。部分TTS系统在相似度上排名较高,却在偏好上落后;听众在偏好测试中选择合成语音的比例(36%)高于相似度测试(19%)。 仅测量人类相似度或每个系统只测试一个声音,会导致错误判断听众实际更想与之交谈的合成智能体。
NIBench 发布了一个神经影像基准,评估自主 AI 智能体的执行、技能进化与科学判断能力。 基准包含 3 项互补评估,涵盖 56 个任务、7 种工具生态系统及 36 条阿尔茨海默病研究声明。 测试了 19 种语言模型,结果显示领先智能体执行既定协议表现近乎完美,但缺乏流程指导时性能差距扩大,且蒸馏技能在未见任务上的迁移效果不一致。
MemCredit 框架将记忆选择标准从语义相关性转向决策效用,在 ALFWorld 任务中于 500-token 预算下取得 86.57% 成功率,显著高于 BM25 检索的 65.67%。 该框架通过受控反事实干预估计记忆边际贡献,利用轻量级效用评估器在固定 token 预算下筛选记忆,无需修改底层智能体策略。 研究结果表明决策效用比单纯的相关性更能有效提升长程智能体的记忆管理性能。
在 Qwen3-0.6B 上,五种决策头读出均达 81.3%–82.0% 域内准确率,且 0.5M 参数余弦头推理速度为 27M 联合模式头的一半。 骨干模型规模影响大于头部设计:Qwen3-4B 相比 0.6B 提升 4 分域内准确率和 11 分保留源准确率。 建议将算力投入骨干模型而非复杂决策头。
研究提出情感-情景回顾(AER)任务,定义“事件-情感解耦”为召回正确情感但关联错误事件的失效模式,用于诊断记忆增强型智能体。 基于 GoEmotions 基准测试,EM-TRACE 框架显示仅情感检索的情感恢复率为 28.65%,目标事件检索率仅 4.44%,UAR 为 24.21%。 结果表明,事件检索与情感分配存在不同绑定失效,需联合评估事件检索、情感恢复、绑定及生成质量。
微分背包语言模型在 WikiText-103 上将 Backpack 模型相对于 Transformer 的困惑度差距缩小 31%。 该模型利用微分注意力计算有符号权重,使上下文能主动抑制语义,且零样本句子相似度最高提升 33%。 这种抑制机制直接可解释,如金融语境下“bank”的“河流”语义权重降至 -0.50。
研究发现,当熟悉词汇被重新定义时,语言模型常给出稳定但错误的回答,且重复回答或置信度无法可靠识别错误。 在合成测试中,提供源定义可修复大部分错误,但在真实合同场景中仅能修复约一半;小模型在获得答案后能预测大模型出错概率。 该结果呼吁建立检查完整源文件的测试标准,以涵盖本地定义。
在公共服务场景下,研究构建四个专家验证场景,收集了十种 LLM 智能体在四种提示条件下的 2400 条轨迹。 96.9% 的开放式运行中智能体阅读了记录,但仅 18.7% 生成了产出或自选任务;给定明确任务时生成率升至 86.0%。上下文减少 60% 的边界探查回合,但部分产出与记录矛盾。 研究发布了一套无需标注数据的规则分类学测试,公共服务机构可在采购前用于自有记录。
提出 EvoTrias 架构,通过治理、提议与评判的分权解决智能体程序演化中的权限错配问题,在数学及系统设计等基准测试中刷新 SOTA 记录。 该架构通过类型化合约与运行时钩子强化边界,支持作为插件将现有代码智能体转化为演化系统,并验证了各权限模块的独立价值。 治理与提议的分离将 token 成本降低 64%,开放提议使演化范围扩展至 68 万行工业级代码库,保护评判确保基准分数在迁移中的忠实性。
SimRec 通过强化学习训练工具集成推荐代理的完整交互策略,引入基于任务的用户模拟器和对齐奖励,使用 GRPO 优化整个轨迹。 在 ESCI 和 Amazon C4 数据集上,SimRec 将 Qwen3-4B 代理的 NDCG@100 分别提升至 35.42% 和 24.72%,性能超越更大基座的免训练代理,且训练后的代理在候选验证和推荐恢复能力上显著增强。
研究提出包含 280 个实例的 WordInferBench,评估智能体在 Word 文档中推断属性的能力。基准涵盖 13 种对象类型,测试三种指令条件。结果显示 Claude Code with Opus 4.6 在推断型任务中通过率仅 40.7%。
研究团队推出 Neuro-VL,这是一个基于近百万例神经影像数据训练的多模态模型。在内部及国际数据集评估中,Neuro-VL 在异常诊断、定位及生成放射学报告方面,表现优于 OpenAI 和 Google 的前沿通用及专用医疗模型。该模型还支持对连续影像检查进行对比,以评估疾病进展,并能更可靠地抵御误导性临床假设。
推荐理由:Neuro-VL 在多项任务上超越了 OpenAI 和 Google 的前沿模型,展示了通用医疗 AI 的纵向监测能力。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
ToolTurns 包含 2,620 个问题和 1,827 个工具,测试 LLM 智能体在多轮对话中的澄清与工具使用能力。 在 9 个语言模型中,最佳智能体完成 69.6% 的单次请求但仅 39.8% 的完整对话;所有模型在后续请求上的成功率均低于初始请求。 该基准为评估智能体在带工具的多轮对话中维持任务成功率提供了测试平台。
研究评估了分解、类型化重构及概念简化三种重写策略在数学、逻辑及代码基准任务中对 8 个 LLM 的影响。 最佳重写策略平均提升准确率 27.6%,但无单一方法适用所有问题,不匹配的重写反而有害。 简单规则可部分迁移增益至新问题,在选定重写问题上提升 11.0%。
研究揭示编码智能体存在终止滞后现象,38%至82%的成功运行在首次编辑时即获得正确补丁,但智能体仍继续运行。 Qwen3-Coder在SWE-bench Verified等数据集上的解决后步骤占比中位数为35%至37%,Laguna-XS.2为54%至60%。 这部分额外步骤主要用于验证和探索,1%至8%的情况会导致智能体撤销正确的补丁。
大语言模型在数学题目和作文反馈生成上显著缺乏多样性,输出同质化程度远高于人类。 直接提示下,模型输出的词汇(Self-BLEU)相似度比人类高 78%,语义相似度高 51%。 尽管多样性提示和后训练能增加表层变化,但未扩展教学形式,加剧了模式崩溃。
RSI-PDEbench 发布了包含 1001 个案例的基准,涵盖 42 种方程模板,并提出了递归自我改进智能体 RSI-PDE。 该基准提供 Full、Noisy 及 Hard-OOD 三种评估设置,测试无噪声、高斯噪声及分布外泛化能力。 RSI-PDE 相比单次基线提升通过率 106.5-181.9%,比原生框架提升 3.0-19.6%,并减少 46.9% 的模型调用次数。
研究人员构建了包含 21 个设计实例的开源基准,并开发了精确求解器 GEO-Exact。 该求解器证明其分配方案最优(相对原对偶间隙小于 $8.2 \times 10^{-16}$),平均耗时比启发式算法快 8.1 至 40 倍。 GEO-Exact 已开源,数据表明在标称间距下,滑动窗口启发式方法距最优解仅差 0.011%。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。