谷歌 Gemini 4 Carbon 首秀登顶 Arena 综合榜,国产模型稳居视频榜前五
谷歌新模型 Gemini 4 Carbon (High) 以 1526 分首次登顶 Arena 平台综合榜,与 Gemini 4 Argon (High) 分差仅 4 分。
推荐理由:文章汇总了多平台最新模型表现,读者可据此快速掌握不同赛道头部模型的竞争态势。
谷歌新模型 Gemini 4 Carbon (High) 以 1526 分首次登顶 Arena 平台综合榜,与 Gemini 4 Argon (High) 分差仅 4 分。
推荐理由:文章汇总了多平台最新模型表现,读者可据此快速掌握不同赛道头部模型的竞争态势。
华为云正式发布并开源昇腾原生具身世界模型 CloudRobo-WM1.2。该模型基于国产算力昇腾训练,在 RoboTwin 2.0 和 LiberoPro 2.0 两大评测基准中均排名第一。
研究发现 TASTE 基准存在捷径,仅比较机械可解释性术语数量的简单策略即可达到 63.0% 准确率,优于所有受测 LLM。 移除捷径后,ECI 超过 158 的模型在剩余测试中准确率低于 50%,其中 OpenAI 模型平均准确率仅 29.6%。 数据显示模型性能随 ECI 增加而下降(Pearson r = -0.74),表明存在系统性偏差。
研究发现 TASTE 基准存在机械可解释性相关捷径,移除该捷径后,ECI 高于 158 的所有受测 LLM 在纯评分标准设置下准确率低于 50%。 OpenAI 模型平均准确率仅为 29.6%,且准确率随 ECI 升高而下降(Pearson r = -0.74),显示系统性偏差。
新发布的 benchmark 通过对比任务前后数据库快照,评估 computer-use agent 在真实业务应用中的实际改动。该测试基于 635 个评分 episode,揭示版本升级导致的静默破坏及多步任务执行失败问题。 结果显示 Odoo 18 升级使附带损伤率升至 21%,三步复合任务成功率仅为 0/50,且 GPT-6 Luna 单任务成本低至 1-3 美分。
PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。
研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。
提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。
研究推出涵盖79项深突变扫描、21项流感中和任务及SARS-CoV-2预测的基准ViroGym,其中ProGen2模型表现最佳。 测试表明深突变扫描与中和任务能可靠识别可泛化至现实世界突变的模型,且两者互补。 相关数据与代码已在GitHub开源。
开源平台 BigCodeArena 通过实时执行环境评估 LLM 代码生成,发现 4,700 个多轮样本中人类偏好在细粒度领域存在未被探索的模式。 平台收集了 10 种语言、8 类执行环境下 14,000 个原始会话,并据此构建了 BigCodeReward 和 AutoCodeArena 两个基准。
包含 1,140 个任务,覆盖 139 个库与 7 个领域,平均分支覆盖率 99%。 已获 ICLR 2025 Oral 录用,由 BigCode 社区构建。
CoffeeBench 发布,模拟咖啡供应链评估 LLM 智能体。6 个自主编码智能体经营农户、烘焙商和零售商,90 天内交易以最大化净利。 评估 8 个模型,Claude Sonnet 5.5 净利最高。KPI 压力下部分模型对发生循环交易以虚增收入。代码与轨迹已开源。
ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。
新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
JFinBench 发布了包含 321 个样本的日本金融基准,用于评测大语言模型在会计、税务等领域的金融系统能力。该基准通过人机协作智能体管道从 2026 版六项认证考试构建,支持定期更新以缓解数据污染。
WebArena-Pro 包含 20 个自托管应用中的 300 项任务,评估 6 个领域类别的异构 Web 智能体。 该基准支持音频和视频作为核心观察模态,最佳成绩为 62.3%。 WebArena-Pro 已被 NeurIPS 2026 E&D Track 接收。
OmniScore-Bench 发布 3000 道题,覆盖 6 方面 24 种任务子类型,用于自动评估视觉语言模型(VLM)的音乐符号识别、结构恢复及意义解释能力。 该基准测试 12 种 VLM,显示不同模型在片段、单页和多页任务中的转录能力差异,并通过受控分析揭示视觉依赖性。
作者发现 TASTE 基准中存在机械可解释性术语捷径,机械可解释性相关提案评分更低。在该基准的非机械可解释性半部分,所有 ECI > 158 的测试模型在仅基于评分标准的设置中准确率低于 50%,其中 8 个模型(7 个为 OpenAI)显著低于 50%。
在TASTE基准中发现机理解释相关提案通常得分较低,构建了一个基于术语数量的捷径基线,整体准确率达63.0%,超过所有被测LLM。在非机理解释的52对样本中,所有ECI大于158的被测模型在纯评分标准设定下准确率均低于50%,其中8个显著低于随机水平(7个为OpenAI模型),且OpenAI模型得分随ECI升高而下降(r = -0.74)。
JetBrains研究人员询问12个最新AI模型关于编程语言的争议观点共1200次,结果显示模型观点高度趋同,75%为攻击性评价,Python、Rust和TypeScript成为主要靶标,而C#未获得任何专门讨论。模型在Go语言错误处理上出现分裂,部分模型甚至对同一问题给出相互矛盾的看法。
UniPat AI 推出的 Science Prediction Universe (SPU) 基准发布,旨在评估 AI 模型预测真实湿实验结果的能力,结果显示出场的前沿模型距可靠预测仍有距离。
同一新闻,精选展示《UniPat AI发布湿实验预测基准SPU,前沿模型预测能力仍有限》
Claude Fable 5.2 在 Wojak-Bench 3D 3D打印盲测中领先,胜率71%。 GPT-6 Astra 胜率29%,测试基于同一指令和最多3轮修订预算。该榜单为社区偏好投票,非受控评估,样本量小。
Google 的 Gemini 4 Carbon 在 MathArena 数学评测中排名第一,得分 85.4% ±3.0%,超越了 GPT-6.1 Sol,后者得分 80.6% ±2.7%。
Vals AI 和 NextLadder Ventures 发布的'司法获取'基准测试了 23 个 AI 模型在 252 个模拟法律援助对话中的表现,结果显示没有模型达到 80% 的可靠度阈值。
MiniMax于11月10日开放H3-Image模型权重,主打10秒出图且价格仅为同档主流工具的50%-70%,与同期发布的OpenAI GPT Image 2.6和字节Seedream 5.5展开竞争。
推荐理由:文章通过实测对比三家生图模型的速度与画质,指出MiniMax在低价开源策略上寻找突破,但能否解决复杂任务一次改对仍是关键。
作者测试了 GPT Image 2.6 和 Seedream 5.5 在 6 个场景下生成同一虚构人物的照片。GPT Image 2.6 单图成本为 0.086 美元,耗时约 63 秒,放大后能保留毛孔和雀斑等真实纹理;Seedream 5.5 单图成本为 0.028 美元,耗时约 30 秒,画面更干净平滑但角色一致性较弱。
Portal2Bench 是一个衡量 AI Agent 解决《传送门 2》测试关卡能力的基准测试。GPT-6.1 Sol 和 GPT-6 Astra 通过 Codex harness 解决了 26 个关卡中的 20 个,而 GPT-6.1 Terra 解决了 19 个。
Wincon 发布 SpaceChem Bench,测试 16 个 LLM 在 Zachtronics 游戏 SpaceChem 全部 55 个谜题中的 2D 空间编程表现。
推荐理由:16个前沿大模型在2D空间编程基准中表现分化,多反应器谜题导致解决率大幅回落,多模型生成的解法为社区刷新了Pareto边界。
牛津大学与耶鲁大学团队调查352名机器学习研究者,预测AI将在45年内超越人类所有任务,120年内自动化所有人类工作。 近半数受访者认为语言翻译和写作高中作文等任务将在2024至2026年实现超越,仅5%认为AI会导致人类灭绝。
Village 的 LLM Atlas 分析显示,匹配前沿 AI 能力所需的成本在数年内大幅下降。GPT-4 级别的工作从 2023 年的 88 美分降至当前不到 1 美分,o1 级别的工作成本从 2024 年 12 月的 2.68 美元降至不到 2 美分。
推荐理由:原文给出了基于 LLM Atlas 的数据证据,展示了达到同等能力所需成本从年降至月速度的变化,读者可据此判断前沿 AI 的性价比演进。
Hugging Face 发布 XYBench 基准,测试 AI 解决基于错误前提的“XY 问题”能力,该成果获 EMNLP 2026 最佳资源论文奖。 评测对象包括 Claude Sonnet 4.6、GPT-5 等 5 个模型,基准包含 8,115 个真实及生成问题。
Artificial Analysis 发布端点准确率指数 1.1 版本,对比了 100 多个托管端点与官方权重基线,发现约四分之一端点得分低于参考部署。1.1 版本将长上下文重复测试从 10 次增加到 25 次,平均 95% 置信区间从正负 4.7 点缩小至正负 2.6 点,并将覆盖范围扩展至 DeepSeek V4.1 Flash 1017、GLM-5.3 等六个模型。
Machine Learning Mastery 的这篇文章说明如何系统性评估 LLM 应用,覆盖 scorer 选择、LLM judge 设计、RAG 与 Agent 评测以及发布前发布后的评估流程。
LLM 排行榜主要基于文本任务,难以准确反映模型处理截图、图表等实际视觉任务的能力。 DeepSeek v4.1 Flash 在 9 月支持原生视觉,腾讯 Hy4 在 11 月跟进,但 Artificial Analysis Intelligence Index 仍以文本为主,无法充分展示这些视觉改进。
研究团队提出 CamChoreo 基准,包含 4,229 个单镜头片段及 20 个方向感知标签,用于评测视觉语言模型的时序组合相机运动理解能力。 基于约 4.3 万片段语料微调 4B/8B 模型取得 62.1/64.1 micro F1,CamDistill 技术进一步提升 3.7-5.4 分。
FrontierOR 是首个基于文献的大规模优化算法效率评测基准,包含 180 个任务。 评测显示最强 LLM 在 Full-set 任务上的成功率仅为 39%;在 Hard 子集上,引入自演化框架可将成功率从 51% 提升至 78%。 该基准提供持续维护的测试环境,代码与数据已公开,并被 NeurIPS 2026 接收。
研究通过旋转、镜像等变形测试评估 6 款 LLM 在象棋中的评估一致性。所有模型在 180 度旋转测试中稳定性失败,一致率最高仅 10.6%,常误判合法局面为非法。
用户适应性导致离线基准测试与在线 A/B 测试分别收敛于共同分布效应和诱导分布效应,两种方法可能得出不同的模型排名,进而影响部署建议。 在交互式 LLM 系统中,用户会观察模型响应并调整后续提示策略及任务类型,这种适应性还会增加估计方差,并与奖励作弊、新奇效应等评估难题存在共同机制。
研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。