跳到正文
11月19日周四
  1. arXiv · AI27

    ARC-AGI 基准在人类流体智力研究中的初步效度验证

    研究对 ARC-AGI 基准在人类样本中的心理测量学特征进行首次检验,显示其与图形流体智力相关显著($\rho$ = .63)。 该研究基于 100 名参与者,发现 ARC-AGI 具有良好的心理测量学属性,但与图形独创性的关联较弱。 这支持了 ARC-AGI 作为人类流体智力测量工具的初步效度,并建议将 AI 基准系统嵌入人类认知能力网络。

  2. arXiv · AI23

    VideoACE:通过高帧率动作评估智能体视频理解的基准

    研究团队提出 VideoACE 基准,包含 1000 道多选题,涵盖六大类细粒度动作理解,并附带时序证据标注与经筛选的用户提示。 评估环境结合视频检查工具与用户模拟器,允许模型调整时间覆盖、采样密度及空间细节,并在模拟用户反馈下重新审视证据。 该基准测试了单通道观察、自主工具使用及结合用户反馈的工具使用模式,为探索固定观察设置之外的智能体视频理解提供了测试平台。

  3. arXiv · AI21

    SixthView:针对隐藏视图重建与 3D 装配推理的基准测试

    推出包含 602 个合成多立方体装配的基准测试 SixthView,要求模型根据五个正交视图预测第六个隐藏视图。 涵盖 2 至 10 个部件的装配体,采用精确网格评估,确保所有合法装配产生一致的隐藏视图。 在 552 项完整评估中,结合图像与精确文本的准确率范围 33.2% 至 85.4%,添加精确文本显著提升性能。

  4. arXiv · AI26

    EnvAgent 多智能体方法在云端构建科学环境

    ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。

  5. AWS Machine Learning Blog52

    Amazon SageMaker JumpStart 推出模型排行榜

    Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。

  6. OpenAI29

    OpenAI 模型推进芯片设计

    OpenAI 优化了 Jalapeño 芯片电路并改进 RISC-V 核心设计,展示了 GPT-6 Astra 在 AI 辅助芯片设计上的进展。 GPT-6 Astra 直接应用于具体芯片流片与核心架构优化环节,验证了大模型在半导体工程领域的落地能力。 此举标志着 AI 从代码生成向底层硬件设计的延伸,加速芯片研发流程。

11月18日周三
  1. arXiv · NLP30

    **title_zh**: TSW-NL:评估语言模型的荷兰语单词谜题基准

    **summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。

  2. arXiv · NLP26

    契约显式评估:从审计学习型读者到范围证书

    提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。

  3. arXiv · NLP36

    CrisisBench: 针对危机咨询 AI 的评估套件

    研究人员发布隐私保护评估套件 CrisisBench,旨在测试大语言模型在危机咨询中的风险管理与去升级能力。 套件包含 1085 个单轮任务及 23 项评估维度,经专家校准后用于评测五个 GPT 模型。 结果显示生成增强检索模型多轮得分最高(0.961),所有系统在过度共情方面均弱于人类咨询师。

  4. arXiv · AI41

    EMRD:面向关键安全场景下视觉语言模型就绪度的基准测试

    EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。

  5. arXiv · AI29

    DiagTrace:用于临床决策的交互式基准

    研究提出DiagTrace基准,包含510个跨8个专科的案例,用于评估LLM在交互式信息获取中重建诊断轨迹的能力。 其中225个案例用于测试4种LLM的临床路径一致性、交互质量与效率。 结果显示模型在覆盖率、来源一致排序及轮次使用上存在权衡。

  6. arXiv · AI42

    SciWorkBench:面向真实科研工作流的基准测试

    研究团队提出 SciWorkBench 基准,用于评估智能体在生物学、化学等真实科研任务中的能力。 测试涵盖四大领域,由专家验证统一分析框架,并在 Claude Code 和 Codex 框架下评估最新模型。 性能最佳的智能体仅获得 57.38 的平均分,表明当前智能体在将科学知识转化为具体步骤及多模态证据整合方面仍存在显著短板。

  7. arXiv · AI32

    RehearsalBench 基准测试:评估 AI 预测企业运营变革后果的能力

    RehearsalBench 发布基准以测试 AI 预测企业变革后果能力,最佳模型 GPT-6 Astra 较无干预提升 6.8%。 十款模型在 14 个组织场景中完成 280 次尝试,平均预测正确但效应大小常高估五倍,且从未建议“不行动”。 外部验证中 12 款模型对 33 个真实变更的预测排名与现实排名相关系数达 0.92。

  8. arXiv · AI42

    ATLAS-Finance:在模拟银行环境中评估 AI 智能体的基准

    研究团队发布 ATLAS-Finance,这是一项包含 100 项端到端投资银行任务、横跨 13 家模拟企业的基准测试。 该基准由资深银行家基于真实交易工作设计,单个任务耗时 15-30 小时,评估标准包含中位 124.5 项细则。 当前最先进模型表现不佳,Claude Opus 与 Fable 在任务中的通过率均低于 11%。

  9. arXiv · AI38

    NEBench R1:评估大语言模型核工程领域推理能力的基准

    研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。

11月17日周二
  1. 美团技术团队50

    美团《Agent评测白皮书》:商家AI助手评测与优化闭环实践

    美团技术团队发布商家AI助手评测实践,针对KA巡检任务构建41个评测场景,设计确定性Grader与LLM Rubric协同判定。 评测器通过校准集及DAG规则修正假阴性,定位配置混杂、路由不唯一等根因。 优化使Agent能力上限与效率提升,瓶颈由“不会做”转为“不能稳定做对”。

  2. arXiv · AI26

    GameReplica 评测基准发布:考察视觉语言智能体黑盒复刻网页游戏能力

    研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。

  3. arXiv · AI42

    RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距

    研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。

  4. arXiv · AI33

    LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究

    研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。

  5. arXiv · AI30

    对象识别准确率随语义距离单调下降

    研究提出 ImageNet-OOC1k 基准,发现 35 个视觉模型在对象背景语义距离增加时识别准确率呈单调下降。分析显示 Vision Transformer 存在聚合失败现象,空间重排序策略可使样本内准确率提升 5.7 个百分点。该研究确立了上下文敏感性是视觉系统的连续可预测属性。