Moralitybench.ai 更新:新增模型测试及电车难题道德选择结果
Moralitybench.ai 测试了 20 个 AI 模型在 56 道标准化道德心理问题上的表现。 测试中每个问题重复 5 次以观察回答变化,并包含 2 种电车难题变体。 DIT-2 测试结果待公布,项目欢迎 AI 与伦理研究者协作。
Moralitybench.ai 测试了 20 个 AI 模型在 56 道标准化道德心理问题上的表现。 测试中每个问题重复 5 次以观察回答变化,并包含 2 种电车难题变体。 DIT-2 测试结果待公布,项目欢迎 AI 与伦理研究者协作。
文章分析认为,AI 工具在代码编写成本上远低于人类开发者,但 SWE-bench 基准显示其在私有代码库上的表现存在巨大落差,且最新研究证明 AI 并未提升资深开发者效率。目前 AI 适合处理低风险的基础工作,但无法替代开发者的专业判断力。
研究团队发布多智能体冲突基准 CLASHarness,并开源了代码与包含 600 个多轮可执行冲突任务、7970 张 4K 视觉证据的数据集。
推荐理由:15 款主流模型在 600 个多智能体冲突任务上端到端通过率均未破 30%,强模型靠视觉证据核实真值,弱模型则易盲信队友文字汇报。
编码智能体 Benzi 在 SWE-bench Verified 基准测试中取得 82.6% 的得分,单次运行成本仅为 $9.26。 Benzi 采用编译器架构,先将代码库编译为可查询映射以支持全语言解析,相比 mini-SWE-agent 少读了约 318,824 行代码。 该模型展示了通过静态分析与运行时追踪分离,能在更低成本下实现高效代码理解与编辑的优势。
Gemini 4 Argon 在 Scale AI SEAL 11 类基准中确认 6 项优势,其中 Humanity's Sixth Sense 排名 #1,SWE-Bench Pro V2 排名 #2 得分 99.22。其在多模态视觉理解、复杂软件工程及高级学术推理方面表现突出,但金融、法律及心理危机支持场景未进前三。
阿里数据团队提出基准健康指数(BHI),筛选 158 个评测基准,从区分度、抗饱和度和影响力三维度评估有效性。 HLE 以 67.05 分位居 BHI 榜首,移除任一维度排序均显著变动。 相关论文被 NeurIPS 2026 Evaluations and Datasets Track 接收为 Oral 论文。
Navital Labs 发布了 Navital Gym,这是一个用于测试 AI Agent 在印度任务(如旅行规划、GST 开票、表单填写、多语言客服)上表现的标准库工具。
该研究引入 ScAn-Bench-LLM 和 ScAn-Bench-VLM,旨在填补缺乏系统性评估不同模型类型缩放分析方法的空白。 基准基于 4524 个 LLM 和 8024 个 VLM 检查点构建,首次系统评估了数据获取与外推方法。
DualGauge 提出首个全自动框架,联合评估规格驱动代码生成的正确性与安全性。其配套 DualGauge-Bench 包含 307 个任务,测试 10 种 LLM 和 3 个编码智能体。
NovGauge 提出了一个包含 619 个论文对的人类锚定基准,用于诊断 LLM 在论文新颖性评估中的细粒度表现,涵盖任务、问题和方法三个维度。 评估显示 18 种 LLM 的幻觉率介于 0% 至 39% 之间,且超过 70% 的正确阳性判断证据无法逻辑支撑其理由;表现最佳的 GPT-5.5 各维度 Verified F1 为 43-72%。
研究人员发布 DiG-bench 基准,用于评估 AI 智能体在未知目标环境下通过实验发现新知识的能力。 该基准包含 70 个独立游戏,分为 7 个难度层级,其中 21 个游戏公开,其余保留用于安全评估。
研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。
研究者提出 RetroChessBench,这是一项包含 12 个任务的基准,用于测试前沿大模型在逆向棋局重构中的推理能力。 在两项试验中,GPT 6 Astra High 在 24 次尝试里失败 22 次(无工具),使用代码执行则失败 18 次,平均终端 RL 奖励分别为 14.75% 和 27.19%。
TrussTutor-Bench 基准包含 200 道二维桁架问题,用于评估 13 个 LLM 的解题准确性、谄媚性与错误检测能力。 基线解题准确率在 64.5% 至 97.0% 之间,所有模型在合成作业中检测错误率达到 90.4% 至 100%;当学生质疑正确解答时,模型接受率从 1.6% 变至 50.0%。 结果表明模型在技术可靠性上差异显著,该基准确立了判断哪些模型足以面向学生使用的标准。
Snyk VulnBench 2.0 评估了九种产品化配置在 108 个人工精选漏洞上的表现,其中 Snyk Code 达到 82.4% 的宏观召回率,Claude Code 使用 Opus 5 模型达到 79.3%。
summary_zh: 研究团队发布 SpaceAct 基准,通过闭环物理行动评估多模态大语言模型在 3D 空间中的时空推理能力。该基准包含 108 个验证实例和 36 个任务族,去除了特权坐标。
The Prestige 提出通过专业魔术表演评测认知视觉推理的视频理解基准,测试模型对意外结果事件的跟踪与解释能力。该基准包含从时序因果理解到对抗性问题鲁棒性的开放问答题,评估显示最强视觉语言模型与人类表现存在显著差距。研究还发现自动化评分与人类评分存在系统性偏差,且模型在多选题正确但独立解释失败的情况下依然存在,凸显了视频理解评测的局限。
FVH-Bench 包含 5 种有害视觉功能和 10 个风险领域的 669 个提示词。 评测 11 个图像生成器,发现它们很少拒绝请求,且生成的图像能有效满足有害功能,现有安全检测器对此覆盖有限。 这表明图像生成器安全对齐评估需同时考虑图像所描绘的内容及其可能启用的功能。
EnvOS 框架通过现象级任务构建与证据化评估,解决大语言模型智能体在软件状态变更时的测试归因难题。 框架在运行前验证变更触发、任务可解性及评分准确性,运行后基于归档证据重审判定。测试显示 Claude Opus 5 在展示更新值时成功率从 0/16 升至 15/16,显著优于仅提醒重查的结果。
针对LLM智能体本地搜索评估覆盖度不足的问题,推出ATLAS-Bench基准与ATLASBox评测环境。 ATLAS-Bench包含3个区域扩展的1,200条查询,区分强制要求与偏好;ATLASBox提供固定POI知识库及搜索工具。 在11个模型的14种配置评估中,GPT-6-Luna约束满足率达71.5%,GLM-5.3可行查询推荐率85.3%。
该研究提出 SocialArena 基准,通过三层框架定义社交智能,涵盖角色扮演、心理状态及行为推理能力。 采用 U-TRIMF 框架合成多样化社会情境,投入 13.24 万美元标注数据并实施人类竞技场协议。 旨在为 LLM 在心理健康、陪伴等交互式应用中的改进提供可靠洞察。
研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。
该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。
CLadder 生成的数据集嵌入表面模式,导致随机森林等简单模型也能取得良好表现。 商用 LLM 在 CLadder 测试中表现极度脆弱,移除关键因果推理文本后性能几乎不受影响,结果主要归因于对训练数据中表面模式的利用。 任何关于 LLM 具备复杂因果推理能力的推断,都必须首先排除这一假设。
研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。
MER-Bench 发布,这是首个针对图像-文本表情包多模态情感重评(MER)的系统性基准,已被 EMNLP 2026 接收。 该基准包含 3000+ 真实表情包及细粒度标注,配套 8 项细粒度指标的 MLLM-as-a-Judge 评测套件。
研究团队提出ECG-Reasoning-Benchmark,包含超6400个样本,用于评估多模态大语言模型(MLLMs)在17种核心心电图诊断中的逐步推理能力。
DoseBench 基准测试了 8 个 LLM 回答 230 个对乙酰氨基酚和布洛芬剂量问题的表现,整体准确率介于 44.8% 至 62.2% 之间。 模型错误批准了 14.0% 至 60.5% 的禁止剂量,且增加指引或药物事实虽能调整谨慎度或提升准确率,但无法轻易解决忽略缺失信息等根本缺陷。
提出“前缀可执行性”协议以评估工具使用智能体轨迹,定义前缀可执行性曲线(PEC)等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现,仅关注最终成功率会掩盖轨迹执行缺陷,显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。
研究测试参考重叠指标能否恢复密集视频描述的人类判断,结果证实这些指标未能做到。 六款前沿模型生成的字幕在BLEU-4达到0.510 AUC时仍不可区分优劣。 审稿人对完整片段的接受率(54.1-72.7%)远高于窗口级别,揭示模型评估应记录错误类型。
研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。
研究对比了13个决策模型与15种生成式LLM配置,在1,273道MedQA四选一题目中测试表现。 决策模型准确率在67.71%至89.08%之间,生成式配置达78.32%至96.86%;Mercury Decide单次成本最低(每千题0.0069美元),Clef Omni中位请求时长最短(0.291秒)。 决策模型在资源效率上占优但峰值准确率较低,模型选择需综合考量概率质量、重复性及纠错资源需求。
发布 3DCodeEdit 基准,包含 108 个 Blender 程序和 2592 个指令引导的编辑任务。 17 个模型平均成功率仅 37%,即使最强模型结构编辑成功率也低于 60%。 研究证实分离评审模型的多轮反馈效果最优,可使 27B 模型单轮成功率超越 2.8T 模型。
Artificial Analysis Intelligence Index v5榜单显示Claude Opus 5.5以58分险胜GPT-6 Astra(57分),但谷歌随后发布的Gemini 4 Carbon以59分反超夺魁。
Westphalia Labs 测试了 11 个 AI 模型主持起草多边联合声明的能力,仅 Claude Opus 5.5、GPT-6.1 Sol 和 Grok 4.7 在所有 10 次运行中表现可靠。
MLCommons 正式推出 Candela,一种提供按需使用的 AI 风险与可靠性基准测试服务,支持约 30 个开源模型的 Safety 1.2.1 评分公开。该系统使用私有提示词防止数据污染,通过专门的分类器而非 LLM 进行评分以确保稳定性,并允许测试包含系统提示词和 RAG 等组件的完整部署系统。
Mistral 在 Hugging Face 上开源了迄今最大模型 Mistral Large 4(绰号“Le Chonk”),采用修改版 MIT 许可证,允许商用但提供云服务需额外授权。
同一新闻,精选展示《Mistral Large 4 (Le Chonk) 上线 Hugging Face:多模态 MoE 开放权重模型》
新模型发布后,业界倾向于用制作浏览器游戏代替传统跑分,以直观验证代码与交互能力。 Claude Opus 5.5等模型能生成数万行代码,实现FPS、RPG及三维城市等可玩原型。 游戏成为新的展示仪式,平衡了技术复杂度与传播的直观性,但仍存在稳定性挑战。
Artificial Analysis 发布的智能指数 v5 因引入“私有测试”受到批评,被指显著拉低开源权重模型在指数中的排名,并抬高 GPT 和 Google 模型的排名。 批评者认为在私有数据集上进行“trust me bro”式私有测试缺乏透明度,使得当前开源权重模型在指数 v5 中排名偏低,此举被认为存在可疑之处。
XHEART 新芯航途 X7 系列芯片量产 8 个月,累计出货超过 20 万颗。 已搭载 10 款量产车型,并获得超过 40 款车型订单;基于双 X7 的 L3/L4 平台已获多个车型项目定点。 以规模交付验证“大模型定义芯片”的技术路线,推动大模型芯片向更高等级自动驾驶落地拓展。