ExplorationBench:评估AI系统在可验证外星世界中的探索能力
ExplorationBench 基准发布,通过可执行规则的外星世界环境,解决科学探索中假设验证与知识回忆区分难题。 包含 AlienCode(70 任务)与 AlienLogic(70 任务)两个沙盒,提供工具调用架构供 10 个 AI 系统进行探索与任务求解。 该基准推动了 AI 系统在未知环境中获取并应用新知识的能力评估,是迈向自主科学探索的关键一步。
ExplorationBench 基准发布,通过可执行规则的外星世界环境,解决科学探索中假设验证与知识回忆区分难题。 包含 AlienCode(70 任务)与 AlienLogic(70 任务)两个沙盒,提供工具调用架构供 10 个 AI 系统进行探索与任务求解。 该基准推动了 AI 系统在未知环境中获取并应用新知识的能力评估,是迈向自主科学探索的关键一步。
研究者推出 OneMillion-Bench 基准,包含 400 个专家级任务,覆盖法律、金融、医疗等五大领域。 评测要求检索权威来源并解决冲突证据,采用基于评分标准的协议衡量事实准确性与逻辑连贯性。 该基准统一测试了智能体在专业场景中的可靠性与实用准备度,已被 NeurIPS 2026 接收。
FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。
105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。
该基准包含 711 个 PDF 文档、1897 个问题,采用严格归因准确率指标,要求答案与证据区域同时正确。 CiteVQA 揭示了仅评估答案的盲区,为可信文档智能提供了衡量工具。
FastBench 是一个包含 306 个问答对的基准,用于评估流式 VLM 在高动态实时视频流中的感知能力,并提出了免训练的基线模型 ProactiveFrame。 Gemini-3.5-Flash 在测试中仅得 50.7% 分数;Qwen3-VL-8B 在 24 FPS 采样下得分从 2 FPS 时的 32.9% 提升至 44.6%。
研究人员发布基准 SpaceCast-Bench,直接评估视觉语言模型的预测性空间推理能力。 该基准包含 3862 个问题和 182 个真实场景。测试 21 个模型显示最强模型准确率仅 58.0%,远低于人类水平的 87.2%。
summary_zh: WorldBench 是一款用于评估大语言模型生成 Three.js 体素世界基准与裁判工具,发现现有单一视角评估在 32% 的必需项目上存在分歧。
LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。
TRACE 协议通过针对性修改评估环节,将分数变化转化为可测试的诊断,以区分 LLM Agent 能力变化与评估误差。 在 25 个合成任务中,仅重命名工具导致脚本 Agent 分数下降 0.250;在 88 个新任务中,误导性工具名使所有 Agent 奖励降低 0.20-0.44。 单次运行比较无法区分呈现效果与运行间差异,15-36% 的任务结果在重跑时发生翻转。
UXBench Pro 提出包含 1,000 个测试实例的用户体验基准,涵盖 12 个任务场景和 82 个领域。 该基准引入双视角范式,结合个性化用户奖励模型(URM)与 Sim4Eval 用户模拟器,并通过 URMBench 和 USimBench 验证评估可靠性。 实验结果强调用户建模和多视角评估的重要性,为个性化模型优化提供新视角。
研究团队提出 SWE-Journey 基准,旨在通过长时程任务和多轮交互更真实地评估编程助手。该基准结合弱到强合成管线生成任务,并基于四类用户画像构建模拟智能体重现交互。 结果显示模型在软件架构师场景下通过率超 75%,但在非程序员场景下低于 25%。分析指出,“问对、找对、改对”是当前助手辅助非程序员可靠编程的关键缺失能力。
向候选答案添加冒号可将 Jev 模型的错误接受率从 1.0% 激增至 26.0%。 研究基于 200 个 DROP 和 GSM8K 源簇,证实数值参考与呈现方式共同导致了该偏差。 GPT-6 Sol 未出现类似的虚假接受现象,但该结果因响应缺失尚未完全解决。
基于 35 个专科 8 个月内的 127,833 条真实查询分析显示,当前基准测试仅覆盖 31% 的实际任务组合,且多数基准未包含文档记录请求。 研究构建了临床 AI 基准图谱,发现前沿模型评测基准与实际临床工作相似度低于均匀分布,无法准确预测实际部署性能。 这表明基准分数难以反映临床 AI 在实际工作负载中的表现,评估体系需重新匹配真实的临床使用场景。
AI4Fire 基准评估 6 个核心 LLM 在 5 项野火任务上的零样本表现。 引入 Grounding 使 SQL 数据库准确率从 16% 提升至 88%。 公开模型存在数据泄露风险,如危险等级列完美分离测试集。
研究 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air 在多轮对话中对虚假前提的采纳差异。 通过 22,500 轮测试,GPT-5.4 Mini 零采纳;Gemini-3.1 Flash-Lite 采纳率从 0.1% 升至 94.0%;GLM-4.5-Air 恢复率达 94.5%。 完整评估框架已作为开源制品发布。
InsClaimBench 引入 3780 个案例评估 6 款 LLM 的保险理赔裁决能力。 原子规则准确率最高 95.48%,但联合决策与金额准确率降至 47.54%--73.15%。 结果揭示了决策链中可靠性随层级递进的渐进式损耗。
研究者提出 ARCS 基准测试,聚焦 Text-to-SQL 在真实数据库中的自然歧义场景,采用结构化消歧范式替代传统对话澄清。 实验显示歧义显著降低系统表现,gpt-6-sol 端到端执行准确率仅为 51%,而所有开源模型均不超过 27%。 该结果凸显了现有模型在复杂真实场景下处理细微歧义的能力瓶颈,为系统部署提出了明确挑战。
研究团队发布 PHRBench,覆盖 4 个领域与 18 个 LLM,共 4820 个受控实例,用于刻画模型幻觉后的行为动态。 该基准定义幻觉顺从、幻觉规避与启发式修正三类轨迹,发现成功恢复较罕见,且轻量预测器以 0.847 AUROC 预测恢复成功率。 研究为理解 LLM 如何消解错误上下文提供了行为层面的视角。
UltraText Bench 发布 432 条中英对等稠密视觉文本提示词,覆盖 24 类场景与三级难度,每词包含 4-12 个文本区域。
基于4782个真实工程师JetBrains IDE会话,提出SWE-TaskFlow方法。该方法通过提示词拆分将issue衍生基准测试校准至目标任务流,使用TFAS筛选轨迹。在700个SWE-Bench Pro任务中,分步交互使成本翻倍但解决率未变。
研究人员推出包含 194 个问题的 ArcticQA 数据集及 ArcticAbstain 配对基准,用于评估大语言模型在极地科学多选题中的拒答敏感度。该基准对比了正确答案存在与缺失两种条件,在模型缺失正确答案时平均拒答率提升 5.05 个百分点。
提出条件准确率画像(CAP)框架,将 LLM 裁判成对准确率分解为内容敏感度、鲁棒性等八个条件维度。 该框架应用于 7 个 LLM 裁判和 6 个评测基准,在 judgerEva 上发现省略敏感度无法通过总体准确率预测。 CAP 揭示了聚合准确率掩盖的性能差异,为选择 LLM 裁判提供了比单一指标更具操作性的依据。
sk-bench 发布,这是首个针对 500 万人口的斯洛伐克语设计的本土优先大语言模型基准,包含 10 个技能类别的 30 个数据集。 评估显示最佳开源模型落后专有 API 12.6 分;测试时推理可为 9B 以上模型提升 8.5 至 12.5 分。
文章提出用陈述偏好经济学的效度框架评估无标准答案的大语言模型,包括内容、构念、准则效度及激励相容性。 该方法应用于 Vossler 等人 2023 年的水质评估调查,测试了 6 个模型,以需求曲线斜率、支付意愿对范围和收入的反应为理论标准。
LiveMACE 基准利用实时金融市场,对 5 个前沿 LLM 进行 30 天的过程感知评估。 该基准在工具使用、持久记忆等四种配置下运行,通过完整决策轨迹生成机制诊断。 评估揭示结果与能力存在显著差距,将实时市场转化为智能体能力的诊断环境。
研究引入 DUDA-Bench 基准,形式化城市诊断为多阶段智能体工作流,涵盖 86 个原子任务和 22 个工作流任务。 该基准基于 12 个城市的五类城市问题多模态数据,评估 7 个骨干模型与 5 个智能体系统,揭示孤立分析能力与端到端诊断间的显著差距。 DUDA-Bench 提供将专家分析工作流转化为层级化智能体任务的框架,支持对端到端分析能力的系统性评估。
GeoNatureAgent (GNA) 引入固定十六工具 MCP 接口与 103 任务基准,用于评估工具型 LLM 智能体。 Claude Sonnet 4 在 103 任务中取得最高能力得分 61.7%,DeepSeek V3.2 以 11.3 倍更低成本实现 93% 的能力,构成主要成本-准确率帕累托前沿。 MCP 服务器、评估框架与 API 已公开,可替换工具与任务集以适配任意地学领域。
新基准HSS发现前沿多模态模型在直觉视觉推理上表现远逊于人类,人类准确率达93.1%,而最强模型GPT-6-astra仅为53.6%。 HSS涵盖图像与视频输入,通过人类撰写的提示词探测隐性的时间、空间及社会结构推理。引入智能体动态视觉操作虽缩小差距,但未能弥合与人类表现的根本鸿沟。
研究提出 Agent Plasticity 指标,通过摊销过往经验为可复用 artifact 来评估智能体自我改进效率,考察性能提升及泛化能力。 该指标量化智能体将经验转化为未来 held-out 性能增益的效率,发现前沿模型改进轨迹差异显著,最终表现最优者并非改进效率最高者。
SWE-Game 基准测试了 6 个模型构建游戏的能力,包含 247 个任务。 Opus5 在全部 5 类任务中得分最高,但最佳总体分数低于 60 分。该结果展示了当前编码智能体在游戏开发各领域的实际能力水平。
论文提出 SDR-Arena 框架及 SDR-Bench 公开语料库,包含 50,000 个客户成功案例,用于评测双方面生成式个性化能力。 最佳模型 Claude Sonnet 4.6 在加权片段召回率(WCS)上得分 55.8%,且消融实验表明瓶颈在于检索而非推理。 两项针对专业 SDR 的研究验证了该指标,显示仅 48% 的生成话术无需编辑即可使用。
PlaySuite 提出包含 5000 余款开源游戏的大规模基准,用于评估动态环境下的交互式视觉智能。 该基准支持 Pygame、Godot 和 Unity 引擎,开发统一闭环交互框架,并采用 Video-LLM-as-a-judge 协议。 对 14 个开源模型的评估揭示了感知-行动差距,当前模型在空间定位和动作执行上表现不佳。
提出固定参数程序自我进化框架 ScienceClaw,将任务求解、科学验证与程序更新统一,旨在解决已验证执行难以转化为持久程序改进的问题。 基准评测集 ScienceClaw-Eval 覆盖 23 个学科,通过顺序任务流和独立重置评估,衡量科学正确性、进化收益、保留率、跨数据集迁移能力及进化成本。
ParanoiaEval 是首个针对编码智能体风险处理能力的统一评测基准,基于软件工程风险管理框架,包含 200 个证据控制任务对。 针对 8 个代表性模型的大规模实验显示,尽管有明确证据,11.2% 至 58.7% 的运行仍发生不必要的风险处理,且处理违规显著损害开发者体验。
ChartBmkAgent 利用多智能体架构从稀疏错误分类规范生成图表问答样本,在 300 个样本中展示了 MLLM 准确率从 32.7% 到 84.3% 的差异。 其通过 Harness 治理确保样本对齐诊断目标,86.4% 的样本通过评估模型验证,实现了针对特定能力缺口的数据生成。 该方法缩短了基准开发周期,为调查多模态大语言模型的新能力差距提供了可定制的诊断证据。
研究团队推出 SpeedrunBench,通过 9 款电子游戏测试 LLM 智能体形成策略的能力。实验显示前沿智能体在简单关卡接近人类纪录,但在复杂长时任务中仍落后于人类表现。该基准可作为抗饱和的评估手段,持续检验智能体超越既有人类解法的能力。
BioStudyBench 是一个包含 25 项长时程分析任务的基准,用于评估 AI 智能体在模型知识截止后完成生物医学研究的能力。该基准从 404,019 条 PubMed 记录中筛选任务,涵盖 2026 年 7 月至 9 月发表的研究。
提出智能体评估信任层框架,通过确定性规则验证评分可信度。 该框架检查结果是否由可追溯计算得出、完成声明是否属实及执行稳定性。 在108项任务中,仅22.6%的通过结果通过全部四项检查。
研究团队发布 SubtleMemory 基准,旨在评估长周期 AI 智能体在下游任务中对细粒度关系记忆的辨别能力。 该基准包含 1,522 个评测实例,基于 1,090 组关系控制记忆变体,涵盖互补、细微或矛盾的关系。 测试显示当前系统在细粒度关系记忆辨别上表现薄弱,该工作已被 EMNLP 2026 Findings 收录。