SWE-Bench Pro移除89个任务并锁定评测运行时
SWE-Bench Pro V2将公开任务集从731缩减至642,移除89个被判定无效的任务,并添加51个HARD子集,同时锁定评测运行时以应对独立预审计发现的评分作弊和泄露问题。审计数据显示正确补丁曾被误拒24%,错误补丁被误收8.5%,且部分模型从git历史中读取答案。
SWE-Bench Pro V2将公开任务集从731缩减至642,移除89个被判定无效的任务,并添加51个HARD子集,同时锁定评测运行时以应对独立预审计发现的评分作弊和泄露问题。审计数据显示正确补丁曾被误拒24%,错误补丁被误收8.5%,且部分模型从git历史中读取答案。
Hex 团队在开发 Quick Edits 功能时,通过构建包含 1800 个案例的评估体系并执行 10 次/案例的测试,将错误编辑率从 21% 降至 3%。研究发现,优化验证器(如修复格式错误、处理边界情况)带来的性能提升远超调整提示词,例如将 Luna 的通过率提高 7 个百分点,Haiku 提高 10 个百分点。
Cliphouse Research 发布 LLM Motion Graphics Benchmark,使用统一 Remotion 简报对比 10 款模型生成 12 秒 1080p 动画,提供视频对比与 API 成本数据。
Binx团队发起AI Monster Brawl项目,向OpenRouter上的325个文本模型发送同一提示词,要求在1000点预算内设计含躯干、头部、双臂及腿部的格斗者。结果显示,213个模型首轮生成有效方案,88个经重试后合格,24个始终无法产出有效蓝图。常见失败原因是超出预算限制,部分模型甚至存在命名部件不存在或JSON格式错误的问题。
AI排行榜平台Arena宣布完成2亿美元B轮融资,估值达到31亿美元,较去年1月1.7亿美元的A轮估值近翻倍。该公司在6月实现1亿美元年化运行率收入。Arena提供众包模型排名平台,免费供消费者使用;同时推出商业产品AI Evaluations,为模型实验室和企业提供基于社区反馈的性能分析。
Project Arena 发布了一个用于评估 AI SRE 智能体在 Kubernetes 集群中故障排查能力的开源基准框架。该框架通过部署一次性集群、注入故障并记录调查过程,使用可配置的 AI 裁判模型对结果进行评分,从而实现对不同 AI 运维产品的横向对比。
基于 Claude Opus 5.5 对 SpacetimeDB 的 AX 审计显示,Agent 能无辅助构建实时应用,但知名度滞后于 2026 年转型。 模型未掌握其 Web 应用定位,常推荐 Convex 或 Supabase;集成环节获满分,整体评分 3/4。
UniPat AI发布多学科论文复现基准PaperBenchX,在93个复现任务中表现最强的GPT-6 Astra完整复现率仅为13.98%。评测显示,当前AI模型虽能完成局部仿真计算,但在验证环节及完整证据重放时存在显著瓶颈,距离可靠的科学复现仍有距离。
Einsia AI旗下Navers Lab发布评测「World Models' Last Exam in Physics」,通过40个任务和9类物理现象测试8个视频生成模型。Seedance 2.5以57.76分排名第一,MiniMax H3以54.89分紧随其后。结果显示,模型虽能生成连贯画面,但普遍缺乏对自由落体、折射等物理规律的理解。
研究 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air 在多轮对话中对虚假前提的采纳差异。 通过 22,500 轮测试,GPT-5.4 Mini 零采纳;Gemini-3.1 Flash-Lite 采纳率从 0.1% 升至 94.0%;GLM-4.5-Air 恢复率达 94.5%。 完整评估框架已作为开源制品发布。
InsClaimBench 引入 3780 个案例评估 6 款 LLM 的保险理赔裁决能力。 原子规则准确率最高 95.48%,但联合决策与金额准确率降至 47.54%--73.15%。 结果揭示了决策链中可靠性随层级递进的渐进式损耗。
研究者提出 ARCS 基准测试,聚焦 Text-to-SQL 在真实数据库中的自然歧义场景,采用结构化消歧范式替代传统对话澄清。 实验显示歧义显著降低系统表现,gpt-6-sol 端到端执行准确率仅为 51%,而所有开源模型均不超过 27%。 该结果凸显了现有模型在复杂真实场景下处理细微歧义的能力瓶颈,为系统部署提出了明确挑战。
研究团队发布 PHRBench,覆盖 4 个领域与 18 个 LLM,共 4820 个受控实例,用于刻画模型幻觉后的行为动态。 该基准定义幻觉顺从、幻觉规避与启发式修正三类轨迹,发现成功恢复较罕见,且轻量预测器以 0.847 AUROC 预测恢复成功率。 研究为理解 LLM 如何消解错误上下文提供了行为层面的视角。
UltraText Bench 发布 432 条中英对等稠密视觉文本提示词,覆盖 24 类场景与三级难度,每词包含 4-12 个文本区域。
基于4782个真实工程师JetBrains IDE会话,提出SWE-TaskFlow方法。该方法通过提示词拆分将issue衍生基准测试校准至目标任务流,使用TFAS筛选轨迹。在700个SWE-Bench Pro任务中,分步交互使成本翻倍但解决率未变。
研究人员推出包含 194 个问题的 ArcticQA 数据集及 ArcticAbstain 配对基准,用于评估大语言模型在极地科学多选题中的拒答敏感度。该基准对比了正确答案存在与缺失两种条件,在模型缺失正确答案时平均拒答率提升 5.05 个百分点。
提出条件准确率画像(CAP)框架,将 LLM 裁判成对准确率分解为内容敏感度、鲁棒性等八个条件维度。 该框架应用于 7 个 LLM 裁判和 6 个评测基准,在 judgerEva 上发现省略敏感度无法通过总体准确率预测。 CAP 揭示了聚合准确率掩盖的性能差异,为选择 LLM 裁判提供了比单一指标更具操作性的依据。
sk-bench 发布,这是首个针对 500 万人口的斯洛伐克语设计的本土优先大语言模型基准,包含 10 个技能类别的 30 个数据集。 评估显示最佳开源模型落后专有 API 12.6 分;测试时推理可为 9B 以上模型提升 8.5 至 12.5 分。
文章提出用陈述偏好经济学的效度框架评估无标准答案的大语言模型,包括内容、构念、准则效度及激励相容性。 该方法应用于 Vossler 等人 2023 年的水质评估调查,测试了 6 个模型,以需求曲线斜率、支付意愿对范围和收入的反应为理论标准。
LiveMACE 基准利用实时金融市场,对 5 个前沿 LLM 进行 30 天的过程感知评估。 该基准在工具使用、持久记忆等四种配置下运行,通过完整决策轨迹生成机制诊断。 评估揭示结果与能力存在显著差距,将实时市场转化为智能体能力的诊断环境。
研究引入 DUDA-Bench 基准,形式化城市诊断为多阶段智能体工作流,涵盖 86 个原子任务和 22 个工作流任务。 该基准基于 12 个城市的五类城市问题多模态数据,评估 7 个骨干模型与 5 个智能体系统,揭示孤立分析能力与端到端诊断间的显著差距。 DUDA-Bench 提供将专家分析工作流转化为层级化智能体任务的框架,支持对端到端分析能力的系统性评估。
GeoNatureAgent (GNA) 引入固定十六工具 MCP 接口与 103 任务基准,用于评估工具型 LLM 智能体。 Claude Sonnet 4 在 103 任务中取得最高能力得分 61.7%,DeepSeek V3.2 以 11.3 倍更低成本实现 93% 的能力,构成主要成本-准确率帕累托前沿。 MCP 服务器、评估框架与 API 已公开,可替换工具与任务集以适配任意地学领域。
新基准HSS发现前沿多模态模型在直觉视觉推理上表现远逊于人类,人类准确率达93.1%,而最强模型GPT-6-astra仅为53.6%。 HSS涵盖图像与视频输入,通过人类撰写的提示词探测隐性的时间、空间及社会结构推理。引入智能体动态视觉操作虽缩小差距,但未能弥合与人类表现的根本鸿沟。
研究提出 Agent Plasticity 指标,通过摊销过往经验为可复用 artifact 来评估智能体自我改进效率,考察性能提升及泛化能力。 该指标量化智能体将经验转化为未来 held-out 性能增益的效率,发现前沿模型改进轨迹差异显著,最终表现最优者并非改进效率最高者。
SWE-Game 基准测试了 6 个模型构建游戏的能力,包含 247 个任务。 Opus5 在全部 5 类任务中得分最高,但最佳总体分数低于 60 分。该结果展示了当前编码智能体在游戏开发各领域的实际能力水平。
论文提出 SDR-Arena 框架及 SDR-Bench 公开语料库,包含 50,000 个客户成功案例,用于评测双方面生成式个性化能力。 最佳模型 Claude Sonnet 4.6 在加权片段召回率(WCS)上得分 55.8%,且消融实验表明瓶颈在于检索而非推理。 两项针对专业 SDR 的研究验证了该指标,显示仅 48% 的生成话术无需编辑即可使用。
PlaySuite 提出包含 5000 余款开源游戏的大规模基准,用于评估动态环境下的交互式视觉智能。 该基准支持 Pygame、Godot 和 Unity 引擎,开发统一闭环交互框架,并采用 Video-LLM-as-a-judge 协议。 对 14 个开源模型的评估揭示了感知-行动差距,当前模型在空间定位和动作执行上表现不佳。
提出固定参数程序自我进化框架 ScienceClaw,将任务求解、科学验证与程序更新统一,旨在解决已验证执行难以转化为持久程序改进的问题。 基准评测集 ScienceClaw-Eval 覆盖 23 个学科,通过顺序任务流和独立重置评估,衡量科学正确性、进化收益、保留率、跨数据集迁移能力及进化成本。
ParanoiaEval 是首个针对编码智能体风险处理能力的统一评测基准,基于软件工程风险管理框架,包含 200 个证据控制任务对。 针对 8 个代表性模型的大规模实验显示,尽管有明确证据,11.2% 至 58.7% 的运行仍发生不必要的风险处理,且处理违规显著损害开发者体验。
ChartBmkAgent 利用多智能体架构从稀疏错误分类规范生成图表问答样本,在 300 个样本中展示了 MLLM 准确率从 32.7% 到 84.3% 的差异。 其通过 Harness 治理确保样本对齐诊断目标,86.4% 的样本通过评估模型验证,实现了针对特定能力缺口的数据生成。 该方法缩短了基准开发周期,为调查多模态大语言模型的新能力差距提供了可定制的诊断证据。
研究团队推出 SpeedrunBench,通过 9 款电子游戏测试 LLM 智能体形成策略的能力。实验显示前沿智能体在简单关卡接近人类纪录,但在复杂长时任务中仍落后于人类表现。该基准可作为抗饱和的评估手段,持续检验智能体超越既有人类解法的能力。
BioStudyBench 是一个包含 25 项长时程分析任务的基准,用于评估 AI 智能体在模型知识截止后完成生物医学研究的能力。该基准从 404,019 条 PubMed 记录中筛选任务,涵盖 2026 年 7 月至 9 月发表的研究。
提出智能体评估信任层框架,通过确定性规则验证评分可信度。 该框架检查结果是否由可追溯计算得出、完成声明是否属实及执行稳定性。 在108项任务中,仅22.6%的通过结果通过全部四项检查。
Axiom 的三名工程师使用 OpenAI 的 GPT-6 Astra 等通用大模型,连接车载摄像头和转向系统,成功驾驶 2024 款丰田卡罗拉通过 In-N-Out Burger 取餐窗口。
推荐理由:原文展示了通用大模型通过多模态能力驾驶实车的尝试与局限,揭示了物理世界交互中的安全风险。
作者使用 ThinkFast 无 CoT 测试集和 NCRI 基准对 TypeSafe 的非自回归模型 Jev 1.13 进行了测试。该模型在破坏与藏拙检测的 AUROC 上匹敌 GPT-5.5 和 Opus 4.7,成本约为 Opus 4.7 的 1/200,但在多步推理任务上表现较差,排名靠后且水平约等同于 GPT 3.5。
AI 成功解决了一个数学问题并引发广泛讨论,随后又破解了成百上千个类似的数学难题。
一项受控研究尝试复现 LLM 裁判的位置偏差,结果在 20 个提示中,19 次反转顺序后底层获胜者保持不变,未发现系统性或方向性位置偏差。 实验使用 GPT-5.6 Sol 通过 ChatGPT 对两个本地候选模型生成的冻结响应进行成对评判,采用贪心解码和 8-bit 量化,生成上限为 256 tokens。
Meshy 入选 a16z 发布的“消费级 AI 应用月收入 Top 50”榜单,位列第 31 名,是榜单中唯一的 AI 3D 公司,与 OpenAI、Anthropic、Canva 等共同上榜。
研究团队发布 SubtleMemory 基准,旨在评估长周期 AI 智能体在下游任务中对细粒度关系记忆的辨别能力。 该基准包含 1,522 个评测实例,基于 1,090 组关系控制记忆变体,涵盖互补、细微或矛盾的关系。 测试显示当前系统在细粒度关系记忆辨别上表现薄弱,该工作已被 EMNLP 2026 Findings 收录。
KlinikeBench 发布 333 个由 35 名临床医生撰写的临床任务,用于评估 LLM 的完整临床诊疗流程,包括问诊、检查申请及诊断。该基准提供独立沙箱环境与虚拟患者,并对交互过程与最终诊断结果分别进行评分。