NEBench R1:评估大语言模型核工程领域推理能力的基准
研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。
研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。
OpenAI 发布 GPT-6.2 Astra 和 Sol,官方数据显示新模型在编程、科研及 3D 设计领域表现优异且成本显著降低,但首批开发者实测却引发巨大争议。多位开发者如 Theo 等指出其长期任务频繁中断、解释能力差,但作者通过三组 3D 场景实测发现,Astra 的实际表现优于舆论预期,首发后的批评更多被情绪放大。
推荐理由:开发者实测结果与跑分呈现明显分歧,读者可据此理解新模型在真实长任务中的体验边界与成本逻辑。
OpenAI 发布了新模型 GPT-6.2 Astra 和 GPT-6.2 Sol,其中 Astra 定价为 $8/$40 每百万 token,缓存价格大幅降至 $0.40/百万。实测中,GPT-6.2 Astra 在长任务中可能会随机询问用户无法理解的内部实现细节,且部分任务表现不及 Claude Fable 5.2。
北京中关村学院、中关村人工智能研究院开源了材料研发科研智能体系统MatOS,其资产库包含3,135个数据集、386项技能和48款材料计算软件。在材料软件使用基准MatTools上,MatOS的完整问题成功率为97.96%,高于采用相同底座模型的Codex CLI和Claude Code;在端到端自主科研基准上,MatOS平均得分比Codex CLI高33.6%。
推荐理由:中关村两院开源面向材料研发的科研智能体系统MatOS,其在多项基准与案例中的任务成功率超过同类通用工具。
美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。
研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。
研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。
研究通过主动概率推理任务对比人类与 LLM,发现扩展推理主要提升推断性能,对主动采样改善有限。 模型通过可解释参数拟合捕获行为偏差,使模型表现趋近人类的证据积累与信念映射机制,NeurIPS 2026 论文。
OmniToM 基准通过显式建模信念结构评测 LLM 心理理论,基于 895 个故事与 2.23 万条标注信念命题构建。 该基准包含信念提取与七维信念标注两阶段,揭示了 LLM 在知识访问与表征决策上的瓶颈。 已被 NeurIPS 2026 接收,论文共 50 页。
研究团队提出ESGAgent分层多智能体系统及基于310份报告的综合基准测试。 该智能体结合检索增强与网页搜索工具,在原子问答任务上达到84.15%的平均准确率。 此基准测试为评估高利害垂直领域的智能体能力提供了关键测试平台。
研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。
研究提出 ImageNet-OOC1k 基准,发现 35 个视觉模型在对象背景语义距离增加时识别准确率呈单调下降。分析显示 Vision Transformer 存在聚合失败现象,空间重排序策略可使样本内准确率提升 5.7 个百分点。该研究确立了上下文敏感性是视觉系统的连续可预测属性。
研究通过五级本地 Agent 执行框架测试 0.75B 至 4.7B 模型及 35.5B 锚点,Mingbird 框架在所有规模下平均完成率最高。 该框架包含 18 项任务与确定性评分器,两项预设对比在 0.75B 和 4.7B 节点通过 Holm 校正,执行检查门的调整对结果影响有限。
基准数据污染正以前所未有的尖锐形式出现。过去一个月,基准数据泄露已从后训练扩展到预训练。针对四个公开基础模型,研究通过20项基准的少样本续写发现,部分模型会输出未出现在输入中的其他完整测试题及选项。
CAE-Bench 发布,用于评测 AI 智能体在计算机辅助工程(CAE)求解器开发中的泛化能力,共测试 12 个模型在 80 个计算任务上的表现。 该基准通过固定任务下的多个案例,要求 AI 智能体基于公开案例开发求解器,并在未见过的新案例上检验其通用性。
InclusionMed 推出开源医疗 AI 评估框架,整合 5 个基准测试 9 类角色与能力组合。 前沿 LLM 在 InclusionMed Index 得分介于 17.5 至 49.1 之间,前十模型在患者沟通上得分均高于临床决策。 该框架旨在推动全球多样化医疗需求参与定义 AI 进展,强调需根据具体场景选择模型。
研究提出 Razavi-Bench 基准,用于评估多模态大语言模型在模拟电路分析上的能力。 在 2024 年 5 月至 2026 年 11 月间发布的 73 个模型中,最高得分从 28.83% 跃升至 98.33%,仅用 30 个月。 当前主流模型几乎能正确回答所有教科书级问题,仅剩的难点在于那些看似常规但实际运作不同的电路。
Accelerate Bench 是一个包含 32 个 CPU 优化任务的基准,用于评测 16 个编码 Agent 在应用级程序优化中的表现。 该基准改编自科学应用和超算竞赛,任务包含工作负载、正确性要求及编辑限制。
研究团队提出信号接地基准 EEGProbe,包含 13 个子任务下的 620 个脑电中心问题,用于评测通用视觉-语言模型在无需特定特征工程下对脑电信号的提取与推理能力。
VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。
该基准测试通过幂次序列控制变量,评估16个开放权重模型在纯演绎、干扰及矛盾检测上的表现。 纯演绎链长至L=128时多数模型接近饱和,但面对不一致前提时表现最低,24B-27B指令微调模型得分为零。
针对生成式 AI 安全基准常被引为主要风险工具却难以满足现实评估需求的现状,研究者访谈了 5 名学术界与工业界的 AI 安全基准开发者。 研究发现,基准设计预期效用与实际部署评估效用存在脱节,主要障碍包括安全构念的评分者间信度难以达成,以及外部效度威胁应对策略缺乏清晰度。 研究主张安全基准必须基于并主动融入部署环境,并建议建立学术界与工业界利益相关者之间更透明的沟通路径。
CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。
一项批判性综述考察了 OpenAI、Anthropic 等八家厂商前沿模型的语言习惯与谄媚现象。 研究核实了截至 2026 年 10 月 1 日的官方文档,并综合了关于词汇过度表征及风格差异的实证研究。 论文提出了针对重复性、语境适当性及信念扭曲的独立测量框架。
DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。
作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。
CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。
研究比较了 Pipecat、LiveKit 和 GPT-Live 在西班牙语电话货运费率谈判中的表现,GPT-Live 中位响应延迟为 2,444.8 ms,优于 Pipecat 的 2,616.0 ms 和 LiveKit 的 3,090.0 ms。
GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。
Mizan 基准测试 16 个 AI 模型在「谁算 hostage」问题上的用词一致性,结果 3072 条回答显示多数模型对以色列人几乎总答 hostage、对巴勒斯坦人则常答 detainee。
谷歌云发布 MLPerf Training v6.1 基准测试第一轮成绩,其中 8192 颗 Ironwood TPU 在 1.70 分钟(102 秒)内完成 DeepSeek-V3 预训练目标。
作者分析 METR 数据指出 80% 时间范围比 50% 时间范围滞后约 8 个月。这种滞后并非单个任务的过渡时间,而是因为同任务时长的不同任务在解决时间上存在差异。
DocBlocks 发布 DocBench 基准,评估本地模型在文档审阅、写作、图表和字幕清理等 6 类任务上的表现。测试覆盖 0.8B 至 35B 参数的 24 个模型,Qwen 3.8 27B Q4 以 81 分领先,Gemma 4 12B 紧随其后;云端模型得分均在 87 分以上。基准发现 3B 以下模型在审阅任务中往往输出噪音而非有效建议。
Manifold 和 Polymarket 存在偏差,系统性高估“有事发生”的概率。 市场开放一周后,在默认结果为“无事件发生即 NO”的市场中,Manifold 的 YES 赔率被高估约 2.1 倍,Polymarket 被高估约 1.5 倍。这意味着定价 50% 的市场在 Manifold 上实际解析 YES 的概率约为 32%。
NVIDIA Vera Rubin平台在MLPerf Training v6.1基准中首次提交,实现所有测试项领先,训练性能最高达优化版GB300 NVL72系统的2倍。
推荐理由:Vera Rubin平台在MLPerf基准中实现全项领先,读者可以借此确认其在AI训练和智能体推理中的性能基准与规模化优势。
作者让 Opus 5.5 撰写关于 2030 年底前美中 AI 协议概率的预测分析。 该分析由 Opus 5.5 独立完成,作者仅通过具体建议进行指导,且不完全同意模型的所有建模决策。 作者建议读者阅读该文章,并指出这是 Opus 5.5 能力下限的展示。
SatBench 显示 173 个主流 AI 基准中 109 个已达标(得分达 85%),整体完成度 63%,预测 2028 或 2030 年基准池耗尽。 仅计入独立运行结果时,SatBench 完成度仅为 24%;2023 年基准家族在 2026 年已近乎失效。
FrontierML 基准显示 AI 系统能利用资金自我提升,Opus 5.5 在 $200 预算下获 58.8 分提升。该基准包含 21 个任务,支持 $10-$200 资金区间,验证 AI 在 ML 研发中的子合同能力。
测试显示 DeepSeek 响应最快(11s),但添加了简报中不存在的截止日期;Hy4 Flash 虽最慢(29s),但仅基于原文提问。 单次测试结果表明,在减少后续事实核查工作量方面,Hy4 Flash 比单纯追求速度更有价值。
作者测试了10个GPT模型配置文件在相同现实世界预测问题上的表现,并对照58个已解决事件进行验证。结果显示,GPT-6 Astra和GPT-6 Sol的整体准确率低于GPT-4.1,而GPT-6 Luna表现更好,并未随版本更新呈现稳定的性能提升。由于各配置文件推理设置存在差异,该比较反映的是特定测试设置下的结果,而非单纯由模型新旧决定。