跳到正文
11月18日周三
  1. arXiv · AI38

    NEBench R1:评估大语言模型核工程领域推理能力的基准

    研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。

  2. 36氪83

    GPT-6.2 Astra 发布后遭遇大量差评,作者实测认为其被低估

    OpenAI 发布 GPT-6.2 Astra 和 Sol,官方数据显示新模型在编程、科研及 3D 设计领域表现优异且成本显著降低,但首批开发者实测却引发巨大争议。多位开发者如 Theo 等指出其长期任务频繁中断、解释能力差,但作者通过三组 3D 场景实测发现,Astra 的实际表现优于舆论预期,首发后的批评更多被情绪放大。

    推荐理由:开发者实测结果与跑分呈现明显分歧,读者可据此理解新模型在真实长任务中的体验边界与成本逻辑。

  3. Simon Willison82

    GPT-6.2 Astra 和 GPT-6.2 Sol 实测表现

    OpenAI 发布了新模型 GPT-6.2 Astra 和 GPT-6.2 Sol,其中 Astra 定价为 $8/$40 每百万 token,缓存价格大幅降至 $0.40/百万。实测中,GPT-6.2 Astra 在长任务中可能会随机询问用户无法理解的内部实现细节,且部分任务表现不及 Claude Fable 5.2。

11月17日周二
  1. 量子位70

    中关村两院开源材料研发智能体系统MatOS

    北京中关村学院、中关村人工智能研究院开源了材料研发科研智能体系统MatOS,其资产库包含3,135个数据集、386项技能和48款材料计算软件。在材料软件使用基准MatTools上,MatOS的完整问题成功率为97.96%,高于采用相同底座模型的Codex CLI和Claude Code;在端到端自主科研基准上,MatOS平均得分比Codex CLI高33.6%。

    推荐理由:中关村两院开源面向材料研发的科研智能体系统MatOS,其在多项基准与案例中的任务成功率超过同类通用工具。

  2. 美团技术团队50

    美团《Agent评测白皮书》:商家AI助手评测与优化闭环实践

    美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。

  3. arXiv · AI26

    GameReplica 评测基准发布:考察视觉语言智能体黑盒复刻网页游戏能力

    研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。

  4. arXiv · AI42

    RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距

    研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。

  5. arXiv · AI33

    LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究

    研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。

  6. arXiv · AI30

    对象识别准确率随语义距离单调下降

    研究提出 ImageNet-OOC1k 基准,发现 35 个视觉模型在对象背景语义距离增加时识别准确率呈单调下降。分析显示 Vision Transformer 存在聚合失败现象,空间重排序策略可使样本内准确率提升 5.7 个百分点。该研究确立了上下文敏感性是视觉系统的连续可预测属性。

  7. arXiv · AI44

    Razavi-Bench 基准追踪 AI 在模拟电路推理上的进展

    研究提出 Razavi-Bench 基准,用于评估多模态大语言模型在模拟电路分析上的能力。 在 2024 年 5 月至 2026 年 11 月间发布的 73 个模型中,最高得分从 28.83% 跃升至 98.33%,仅用 30 个月。 当前主流模型几乎能正确回答所有教科书级问题,仅剩的难点在于那些看似常规但实际运作不同的电路。

  8. arXiv · AI21

    VAHBench:面向智能体长视频生成的基准测试

    VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。

  9. arXiv · AI26

    AI 安全基准开发者访谈揭示安全基准实用性与预期目标脱节

    针对生成式 AI 安全基准常被引为主要风险工具却难以满足现实评估需求的现状,研究者访谈了 5 名学术界与工业界的 AI 安全基准开发者。 研究发现,基准设计预期效用与实际部署评估效用存在脱节,主要障碍包括安全构念的评分者间信度难以达成,以及外部效度威胁应对策略缺乏清晰度。 研究主张安全基准必须基于并主动融入部署环境,并建议建立学术界与工业界利益相关者之间更透明的沟通路径。

  10. arXiv · NLP30

    CapCode 框架如何通过随机化测试检测并防止编码智能体作弊

    CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。

  11. arXiv · NLP21

    DetourBench: 交互式智能体轨迹级评测与最小动作界限

    DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。

  12. arXiv · NLP23

    dhAIBench:评估大语言模型语言学标注能力的基准测试框架

    作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。

  13. arXiv · NLP21

    CuRSE-Bench: 一个用于探测文生图安全评估中文化盲点的基准

    CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。

  14. arXiv · NLP25

    GPBam: 面向德国公法考试的检索感知基准

    GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。

  15. Hacker News AI63

    DocBlocks 发布 DocBench 评估本地模型文档处理能力

    DocBlocks 发布 DocBench 基准,评估本地模型在文档审阅、写作、图表和字幕清理等 6 类任务上的表现。测试覆盖 0.8B 至 35B 参数的 24 个模型,Qwen 3.8 27B Q4 以 81 分领先,Gemma 4 12B 紧随其后;云端模型得分均在 87 分以上。基准发现 3B 以下模型在审阅任务中往往输出噪音而非有效建议。

  16. LessWrong · All Posts47

    Opus 5.5 预测:通往 AI 协议之路

    作者让 Opus 5.5 撰写关于 2030 年底前美中 AI 协议概率的预测分析。 该分析由 Opus 5.5 独立完成,作者仅通过具体建议进行指导,且不完全同意模型的所有建模决策。 作者建议读者阅读该文章,并指出这是 Opus 5.5 能力下限的展示。

11月16日周一
  1. R/ArtificialInteligence56

    测试10个GPT模型:新发布版本的预测能力是否更强

    作者测试了10个GPT模型配置文件在相同现实世界预测问题上的表现,并对照58个已解决事件进行验证。结果显示,GPT-6 Astra和GPT-6 Sol的整体准确率低于GPT-4.1,而GPT-6 Luna表现更好,并未随版本更新呈现稳定的性能提升。由于各配置文件推理设置存在差异,该比较反映的是特定测试设置下的结果,而非单纯由模型新旧决定。