ABHBench: 基于智能体视角评估基础模型道德决策能力
研究提出 ABHBench 多模态基准,通过《底特律:变人》叙事场景评估 12 个基础模型的道德决策。 结果显示 75% 模型在文本与多模态情境下表现显著差异,增强推理模型未表现出一致性提升。该工作被 NeurIPS 2026 接收,强调需在具身智能体情境中评估道德行为。
研究提出 ABHBench 多模态基准,通过《底特律:变人》叙事场景评估 12 个基础模型的道德决策。 结果显示 75% 模型在文本与多模态情境下表现显著差异,增强推理模型未表现出一致性提升。该工作被 NeurIPS 2026 接收,强调需在具身智能体情境中评估道德行为。
PhoPunct 基准测试基于 News 和 Novels 语料库,包含 22.1M 个标记化 token,用于评估 17 种由预训练 Transformer 骨干构建的架构。
Qwen-Audio-3.1-Realtime 在事实性与安全性上进行优化,HalluQA无幻觉通过率达71.33%,多轮攻击成功率显著降低。 中文多轮攻击成功率从80.50%降至26.00%,英文从63.50%降至23.50%。 模型采用GRPO进行攻防联合训练,动态探索安全失效边界。
IDC 报告显示,阿里云 2025 年中国大数据平台整体市场份额 23.5%,位居第一,连续五年领跑公有云市场。 阿里云公有云份额超二至四名总和,Agent Data Lake 评估获 9 项满分,数据治理平台份额 33.1%。 全栈底座与 Data+AI 优势助力其成为业务价值核心。
开源框架 openJiuwen 发布,支持结构化合成与运行时自适应,在 SWE-bench Verified 达 82.6%,Terminal-Bench 2.1 达 87.19%。 框架通过 Rail-based 能力合成与固定模型策略下的运行时动态调整,提升复杂编码任务性能,分别超官方榜单最佳成绩 3.4 和 3.39 个百分点。 结果表明该设计在复杂编码任务上兼具高性能与可组合性。
XStack 基准评估 AI 智能体在 PyTorch/NVIDIA GPU 与 JAX/Google TPU 生态系统间迁移 ML 仓库的能力。智能体需将 PyTorch 仓库转换为可通过校准验证的 JAX 仓库,当前表现不可靠:Claude Opus 5 通过率为 75%,GPT-5.6-sol 为 45%,其他智能体不超过 40%。
研究者发布 Multi-step SWE 基准,包含 69 个由 5-15 个依赖步骤构成的软件工程任务,覆盖九种编程语言。 最强前沿模型在长时程任务中的解决率仅为 18.5%,且 69 个任务中有 38 个未被任何模型完全解决。 该基准已公开发布,用于评估编码智能体在自身生成代码上进行迭代开发的能力。
summary_zh: 针对智能体基准的持续验证工作流被应用于 Terminal-Bench 2.0,发布版本 2.1 以修复约 30% 的任务缺陷。 修复后准确率提升超 10 个百分点,排行榜排名变动达 3 位,但整体排名保持高相关(Spearman rho = 0.958)。
MCPHallu 发布了一个包含 358 项任务的基准,用于诊断 MCP 环境下的智能体幻觉。该基准涵盖 5 个能力域,并在 36 个生产级 MCP 服务器运行,设计了 Branch Collapse、Unreachable Goal 等 4 种失败亚型以进行细分分析。
FINCOSMOS 提出开放世界金融智能体评估范式,覆盖 4 个编码智能体和 1 个无工具模型共 150 次会话。 智能体需从 Web 获取数据并在截止时间内构建回测,所有 150 次会话均因程序检查失败未被接受,智能体仅主动提及 54%–64% 的未知细节。 使用 FINCOSMOS 反馈后,具备持久记忆的智能体成功学会了全部 10 项任务。
NeurIPS 2026 论文发布 GraphIP-Bench,统一评估 12 种攻击与 12 种防御。 该基准涵盖 10 个公共图、3 类 GNN 骨干及 3 项任务。研究显示中等查询预算下窃取 GNN 较容易,多数防御未能改变此现状,且异质图更难被窃取。
研究团队发布开源基准 CivBench,用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具,单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现,智能体在主动监控率和短期承诺执行率(RAG@10 为 48.2%-65.8%)上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。
研究验证了 R-Judge、InjecAgent、AgentHarm 和 AgentDojo 等四个智能体安全基准,指出其得分不可互换为单一安全指标。 官方评分器下,R-Judge 的“总是阳性”策略即可达 0.690 高分,而四个基准对 18 个模型的排序结果各不相同。
论文提出以工作活动为中心的基准表示框架,补充了被代表活动、测试环境等四个缺失字段。 基于该框架审计了GDPval等三个基准,发现13个APEX-SWE任务测试存在缺陷。 框架使不同基准具备可比性,提供了单页记录模板以规范报告实践。
ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。
研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。
PersonaCodeBench 是一个新基准,将用户特征转化为可验证的义务,用于多轮编码交互。 该基准包含角色、技术能力、交互偏好及约束的人格池,通过控制器管理模拟用户响应与需求披露。 它分别评估原生正确性与个性化满足度,支持对前沿编码智能体进行可复现评估。
研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。
研究人员提出 SVGFaith 双层元评估框架,包含 1,842 对诊断数据和 1,327 个人工标注竞技场数据。 SVGFaith-Score 在 Arena 及两个诊断方向上均显著优于包括 Qwen3.5-122B-A10B 在内的九项基线。 该框架揭示了现有嵌入指标在空间关系和属性绑定上的局限,提供了可解释的逐需求评分。
AGORA 提出基于项目反应理论聚合器,无需人工标签即可从所有项目联合学习裁判可靠性。 该方法将每个项目置于潜在质量尺度上,通过灵敏度参数和有序评级阈值描述裁判。在三个基准测试中,AGORA 表现优于或持平 Dawid-Skene,且在小规模评测集上优势更显著。
多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。
研究团队提出CARTBench基准,包含17个零售领域1603条产品记录和1328项专家标注标准,涵盖核心、卓越与安全维度。 测试显示10个模型中仅3个在核心任务超90%,无一在卓越任务超45%,揭示理解到执行的差距。
研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。
Amazon Bedrock AgentCore Evaluations 支持将 Jev 和 Strands Decider 2B 等决策模型接入代码型评估器,对智能体输出进行结构化打分。
summary_zh: ColorConceptBench 评估了9个领先T2I模型对1281个隐含颜色概念的理解,发现各模型在语义类别间表现差异显著且对抽象语义缺乏敏感度。
该研究提出 ProofRank 基准,从简洁性、计算难度、认知简洁度、多样性及适应性五个维度评测大语言模型生成数学证明的质量。 实验发现各模型在证明质量上的差异远超正确性指标,且可通过提示词调节代理指标,但通常会以适度的正确性损失为代价。
研究人员提出类型学特征归纳(TFI)基准,用于诊断模型在推理规则归纳上的表现。 TFI 基于 195 种语言构建评估,LLM 仅凭 16 句对即可识别 59%-80% 的语言,表明其依赖先验知识而非纯归纳。 在模型无法识别的语言上,开源模型表现未超过多数值基线,显示模型尚未具备替代语言学家进行原始文本归纳的能力。
针对数据集蒸馏(DD)常通过非标准协议被高估的问题,大规模实验表明部分 SOTA DD 方法在 ImageNet-1K 等大模型上表现劣于或仅持平核心集(Coreset),且构建成本显著更高。
研究采用 DSPy 框架结合 HELM 基准,发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型,结构化提示平均提升性能 6%,5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。
MM-OptBench发布了一个包含780个求解器验证实例的多模态优化建模基准,涵盖6个优化族和26个子类,用于评估模型根据文本和视觉输入构建数学公式及求解器代码的能力。
在 4,000 场 Chatbot Arena 对战中,5 个裁判模型的排名未随裁判更换保持稳定,Kendall's tau 中位数仅为 0.67,未支持原假设。
研究团队发布 AgenticFinBench,包含 230 项真实金融任务,涵盖 8 个类别、2 种语言和 4 个复杂度级别。 该基准提出无参考评估框架,结合特定评分标准与两阶段事实核查,以检测幻觉。实验显示,幻觉审核使领先者分数降低 7.58 分并降至第四名。 发布该基准旨在推动金融推理与事实核查发展,提升智能体在真实请求中响应的可靠性。
审计发现公共 Agent 排行榜存在评分器故障,导致通用 Agent 得分被低估 13 分,且排名顺序发生错误重排。 HAL 和 tau2-bench 存在成本重复计算、操作归属混淆及版本错配问题,重新评估可使分数偏差达 59-82 点且无报错。 建议报告评分比例、标记动作来源及锁定评估器版本,以暴露评估基础设施中的静默测量错误。
研究团队提出统一评测基准 DualWorldBench,用于评估智能体在受控符号-时序与接地-拓扑复杂度下的多目标规划能力。 该基准包含 TextWorld、SimWorld 和 DualWorld-VQA 三个组件,分别隔离测试符号规划、接地路径规划及感知理解。实验发现智能体在将局部感知转化为全局一致计划时存在普遍缺口,无法可靠将接地观察转化为可行动作序列。
研究提出“环境背景幻觉”现象,发布基于 AI2-THOR 的 VagueBench 基准,包含 1,303 个指令对,用于测试具身智能体在缺乏辅助上下文时的表现。 对 6 个 SOTA 具身智能体评测显示,任务成功率相对下降 19.65%,空计划率上升 54.10%,表明其依赖语言信号而非核心语义。 该现象在真实机器人系统中依然存在,可能导致错误决策和潜在安全风险。
EMBERS 是一种针对深度研究(DR)系统的缺陷引导模糊测试框架。该框架通过分析 1,932 条执行轨迹识别出 9 类重复缺陷,包括子问题制定、在线搜索和最终推理中的弱点。
LOLPlay 基准在《英雄联盟》中引入 36 个英雄任务,GPT-6 Astra 取得 25.0% 任务成功率。 该基准包含 82 个可执行子目标检查,对比了 3 种模型在 3 种推理设置下的表现。 研究揭示增加推理投入并未提升指标,且长请求导致交互轮次减少。
StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。
推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。
商汤大装置以 9.4% 市场份额,再次蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2。 其通过 FDE 模式与“AI 123”交付法则,将复杂项目沉淀为可复制方法论,如缩短业务处理时长 60%、提升人均效率 70%。 该模式已服务 5 家上海大型国企,落地数十个产业场景,并斩获“CICC 2026 国资场景开放与行业应用挑战赛”四项大奖。
研究人员发布 Thinkingbox 沙盒及 Thinkingbox-Bench 基准,包含 507 个有策略约束的业务流程,涵盖零售、保险等场景。实验显示 Claude Opus 5 从 66.50% 的 pass@1 降至 47.53% 的 pass^20,Kimi-K3 从 57.37% 降至 17.60%,揭示单次成功与长期可靠性之间的巨大差距。