拆解视频 VLM 时序评测中的通道使用:RoPE 与视觉序列
视频 VLM 时序基准分数混淆了问题是否有时序性与模型如何恢复顺序。 引入反转冲突评分,区分标签无关与确定性标签两种读数,发现 Qwen3-VL 属视觉序列主导,Molmo2 属位置主导。 证明同分模型不可互换,两者通道在相反输入上失败,对评测有效性至关重要。
视频 VLM 时序基准分数混淆了问题是否有时序性与模型如何恢复顺序。 引入反转冲突评分,区分标签无关与确定性标签两种读数,发现 Qwen3-VL 属视觉序列主导,Molmo2 属位置主导。 证明同分模型不可互换,两者通道在相反输入上失败,对评测有效性至关重要。
研究人员开发了针对概念瓶颈模型的合成基准,用于生成带标签数据集并控制数据模态、概念选择及标注质量等属性。 该基准可评估决策支持和自动化两大核心用例,帮助定位模型失败原因,并将其归因于架构或数据问题,已在 NeurIPS 2026 发表。
CHASE 通过反事实评估协议检验 Agent Harness 改进的鲁棒性,在 Syn-Ledger 和 SWE-Bench Pro V2 等基准上验证其有效性。
研究对 ARC-AGI 基准在人类样本中的心理测量学特征进行首次检验,显示其与图形流体智力相关显著($\rho$ = .63)。 该研究基于 100 名参与者,发现 ARC-AGI 具有良好的心理测量学属性,但与图形独创性的关联较弱。 这支持了 ARC-AGI 作为人类流体智力测量工具的初步效度,并建议将 AI 基准系统嵌入人类认知能力网络。
首个智能体弃答评测框架 AgentAbstain 发布,含 263 组配对任务与 42 个沙盒环境。 AbstainGen 自动化管线生成任务并经 3 名标注者验证 94-98% 为良好设计。 17 个前沿 LLM 最佳者 Gemini 3.1 Pro 仅达 59.5% 配对准确率,弃答能力独立于任务解决能力。
研究团队提出 VideoACE 基准,包含 1000 道多选题,涵盖六大类细粒度动作理解,并附带时序证据标注与经筛选的用户提示。 评估环境结合视频检查工具与用户模拟器,允许模型调整时间覆盖、采样密度及空间细节,并在模拟用户反馈下重新审视证据。 该基准测试了单通道观察、自主工具使用及结合用户反馈的工具使用模式,为探索固定观察设置之外的智能体视频理解提供了测试平台。
推出包含 602 个合成多立方体装配的基准测试 SixthView,要求模型根据五个正交视图预测第六个隐藏视图。 涵盖 2 至 10 个部件的装配体,采用精确网格评估,确保所有合法装配产生一致的隐藏视图。 在 552 项完整评估中,结合图像与精确文本的准确率范围 33.2% 至 85.4%,添加精确文本显著提升性能。
ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。
STEMBench 基准发布,涵盖高能物理等 12 个博后级科研问题。 每个问题采用领域特定的“功绩标准”评分,并配备无领域知识提交与专家参考两个锚点。 测试 8 个前沿模型显示,任务级胜出与领域级领先出现分离,部分模型平均分在 12 题中的 7 题超过专家锚点。
多模态大模型在将视觉观察抽象为结构化空间状态时面临挑战,MARBLE 基准测试揭示了这一缺陷。 最强模型 GPT-5.4 在 MARBLE 最难设置中的平均成功率仅 7.3%。
Polar 是一个包含 4026 个多选题的基准,通过选项级似然度而非基于提示词生成来衡量大语言模型的政治偏见。 该基准涵盖两个意识形态轴和八个议题类别,并在美国与韩国政治语境下并行评估了 38 个模型。
S-GRADES 是一个开源 Web 基准,整合了 14 个评分数据集,提供标准化访问和可复现的评估协议。 该基准用于测试三种最先进大语言模型在多种推理策略下的表现,并分析示例选择与跨数据集迁移的影响,旨在揭示不同评估范式间的可靠性与泛化差距。
Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。
OpenAI 优化了 Jalapeño 芯片电路并改进 RISC-V 核心设计,展示了 GPT-6 Astra 在 AI 辅助芯片设计上的进展。 GPT-6 Astra 直接应用于具体芯片流片与核心架构优化环节,验证了大模型在半导体工程领域的落地能力。 此举标志着 AI 从代码生成向底层硬件设计的延伸,加速芯片研发流程。
**summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。
提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。
AfriNORM 是专为评估 LLM 在非洲社会文化背景中规范性推理能力而设计的场景式多选数据集,旨在填补现有基准在文化胜任力评估上的空白。 该基准引入通用常识偏差分(UCBS)和干扰项偏差分(DBS)两项指标,量化模型偏差与对文化规范理解的局限性。
研究人员发布隐私保护评估套件 CrisisBench,旨在测试大语言模型在危机咨询中的风险管理与去升级能力。 套件包含 1085 个单轮任务及 23 项评估维度,经专家校准后用于评测五个 GPT 模型。 结果显示生成增强检索模型多轮得分最高(0.961),所有系统在过度共情方面均弱于人类咨询师。
WHBench 基准包含 47 个专家定制场景,评测 22 个模型在女性健康领域表现。 使用 23 项标准评估,3100 个有效响应中最高分仅 72.1%,无模型均值超 75%。 基准公开,旨在追踪更安全、公平的女性健康 AI 进展。
summary_zh: Code4Scene 基准包含 170 个 Unreal Engine 案例,评估 14 个编码智能体在 3D 场景构建与编辑任务中的表现。
PhysAlign 是一个评估多模态模型在物理图解中是否正确关联视觉信息与物理角色的基准,包含 3,341 个人工验证探针和 986 道物理问题。 基准通过局部探针和受控变体分离视觉识别与角色分配,引入包括 CAcc、GAcc 和 JAcc 在内的五种互补评估指标。
针对理论级自动形式化难题,该研究提出独立基准 LCS-Bench。它基于《计算机科学逻辑》构建,包含 327 个教材条目及 4,076 个 Lean 声明。 采用半自动智能体流水线生成,涵盖 85K 行代码,并支持 5 条评测轨道。
EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。
研究提出DiagTrace基准,包含510个跨8个专科的案例,用于评估LLM在交互式信息获取中重建诊断轨迹的能力。 其中225个案例用于测试4种LLM的临床路径一致性、交互质量与效率。 结果显示模型在覆盖率、来源一致排序及轮次使用上存在权衡。
RTLReviewBench 基准测试显示,12 款 LLM 在审查 Verilog 模块时极少漏掉 Bug,但频繁错误拒绝正确代码,误拒率超过漏检率的 5 倍。 该基准包含 114 对由 LLM 生成器产生的真实故障与正确模块,且通过仿真确认标签;要求模型先推理再下结论能显著降低弱模型误拒率。
ACM Multimedia 2026 发布 EgoLink 挑战,评测模型在第一人称感知、社会推理及交互行动中的能力。 该基准包含两个赛道,最佳系统 Track 1 准确率达 0.9263,Track 2 联合成功率为 0.844。 结果凸显过程验证与证据推理对可靠第一人称多模态智能的重要性。
研究提出开源验证器 Gandalf,在评分标准型智能体环境中以更低成本实现更高 F1。 基于 2,464 个人类判定标准构建 BankerVerifierBench,Gandalf 搭配 Gemini 3 Flash 时 F1 达 0.864(基准 0.852),成本仅为基准的 1/5;搭配 GPT-5.4 时 F1 提升超 0.12。
研究团队提出 SciWorkBench 基准,用于评估智能体在生物学、化学等真实科研任务中的能力。 测试涵盖四大领域,由专家验证统一分析框架,并在 Claude Code 和 Codex 框架下评估最新模型。 性能最佳的智能体仅获得 57.38 的平均分,表明当前智能体在将科学知识转化为具体步骤及多模态证据整合方面仍存在显著短板。
RehearsalBench 发布基准以测试 AI 预测企业变革后果能力,最佳模型 GPT-6 Astra 较无干预提升 6.8%。 十款模型在 14 个组织场景中完成 280 次尝试,平均预测正确但效应大小常高估五倍,且从未建议“不行动”。 外部验证中 12 款模型对 33 个真实变更的预测排名与现实排名相关系数达 0.92。
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
研究团队发布 ATLAS-Finance,这是一项包含 100 项端到端投资银行任务、横跨 13 家模拟企业的基准测试。 该基准由资深银行家基于真实交易工作设计,单个任务耗时 15-30 小时,评估标准包含中位 124.5 项细则。 当前最先进模型表现不佳,Claude Opus 与 Fable 在任务中的通过率均低于 11%。
研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。
美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。
研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。
研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。
研究通过主动概率推理任务对比人类与 LLM,发现扩展推理主要提升推断性能,对主动采样改善有限。 模型通过可解释参数拟合捕获行为偏差,使模型表现趋近人类的证据积累与信念映射机制,NeurIPS 2026 论文。
OmniToM 基准通过显式建模信念结构评测 LLM 心理理论,基于 895 个故事与 2.23 万条标注信念命题构建。 该基准包含信念提取与七维信念标注两阶段,揭示了 LLM 在知识访问与表征决策上的瓶颈。 已被 NeurIPS 2026 接收,论文共 50 页。
研究团队提出ESGAgent分层多智能体系统及基于310份报告的综合基准测试。 该智能体结合检索增强与网页搜索工具,在原子问答任务上达到84.15%的平均准确率。 此基准测试为评估高利害垂直领域的智能体能力提供了关键测试平台。
研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。
研究提出 ImageNet-OOC1k 基准,发现 35 个视觉模型在对象背景语义距离增加时识别准确率呈单调下降。分析显示 Vision Transformer 存在聚合失败现象,空间重排序策略可使样本内准确率提升 5.7 个百分点。该研究确立了上下文敏感性是视觉系统的连续可预测属性。