跳到正文
11月13日周五
  1. arXiv · AI28

    控制 AI 系统部署前测试中未知未知概率的算法

    研究人员开发了一种算法,用于认证在 AI 系统(如 AI agents)部署前测试中,观测到未见失败模式(unknown unknowns)的概率已足够小。该算法构建了一种 anytime-valid 的置信上界序列,允许开发者在测试过程中反复检查界限,并在其低于预设阈值时停止测试,而无需破坏统计保证。

  2. arXiv · AI31

    Science Prediction Universe (SPU) 基准发布,评估智能体在隐藏实验结果中的预测能力

    Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。

  3. arXiv · NLP25

    Jev 作为多语言评估裁判的表现评估

    研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。

  4. arXiv · ML27

    SO-Arena:基准测试 System One 模型的能力谱系与决策可靠性

    研究人员发布 SO-Arena 基准,用于评估 21 个 System One 模型在 11 个领域及 5 种能力家族中的表现。 该基准通过受控选项集变化测试决策稳定性,并考察无有效选项时的识别能力,发现性能最强的模型在可靠性排名中仅列第七。 研究指出整体高分不必然意味着决策可靠,需将能力谱系与可靠性作为互补维度进行系统评估。

  5. arXiv · ML48

    聚合准确率掩盖了医疗视觉语言模型的诊断特异性失败

    审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。

  6. arXiv · ML31

    ORBIT:评估 LLM 在 IT 运维推理能力上的证据导向基准

    ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。

11月11日周三
  1. arXiv · NLP45

    ARE-bench:在真实研究会话与工作区中评测 Agent 研究能力

    ARE-bench 发布 75 个基于真实研究者项目的任务,涵盖 7 个研究阶段、33 项需求及 1173 个二元检查项。 在七个前沿模型中,最强模型仅通过 66.2% 的任务所有检查项;一旦加入历史与工作区上下文约束,通过率骤降至 28.4% 至 40.0%。 这表明忽略上下文要求的评测会高估研究 Agent 的真实交付能力。

  2. arXiv · NLP33

    LLM 验证使最小对基准测试对语言模型更易通过

    LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。

  3. arXiv · AI47

    SciConBench 揭示健康领域 AI 智能体科学结论综合能力不足

    针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。

  4. arXiv · AI27

    ICLayout-Bench 评测 LLM 智能体在定制电路布局设计中的表现

    基准测试 ICLayout-Bench 发布了 LLM 智能体在定制电路布局设计中的表现,结果显示 22 种配置的平均布局得分在 4.22 到 80.26 分之间。 该基准包含 165 个任务,覆盖 13 种工艺设计套件(PDK)和 3 nm 到 180 nm 的技术节点,采用开源和商业 EDA 流程。 更高的推理努力并未持续提高平均分,且相似得分的配置在模型成本上差异显著。

  5. arXiv · AI27

    基于知识空间理论的大语言模型下一步推荐基准测试

    研究者提出基于知识空间理论(KST)的基准测试方法,评估大语言模型(LLM)在数学领域的下一步推荐准确性。 测试分析了六个模型在 2400 个响应中的表现,仅在描述下准确率为 61.3%,提供完整知识空间时达 98.2%。 该基准支持模型与提示词组合的对比,但不直接确立学习效益或 LLM 的必要性。

  6. arXiv · AI36

    TrustMod-SM:评估大语言模型社交媒体内容审核可信度的多轴基准

    研究团队发布TrustMod-SM基准,包含约29000个实例,从五个维度评估LLM在社交媒体内容审核中的可信度。 该基准评测了16个开源权重模型(参数规模0.5B-284B)及一个闭源前沿模型,发现检测准确率较高往往伴随更大的人口统计差异。 结果显示模型规模扩大未能统一解决这些问题,没有单一模型在全部五个维度上均表现优异。

  7. arXiv · ML42

    企业分析智能体评估框架对比研究:稳定性、检测与发现

    三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。

  8. arXiv · ML33

    基于状态条件不变性的可靠 VLM 评委诊断框架

    针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。

  9. arXiv · ML46

    MMDM: 衡量大规模多任务决策

    MMDM 是包含 5,448 道题目、涵盖 16 个任务类别的大规模多任务决策基准。它支持单选、多选及软标签,选项空间 2 至 1,024,输入最长 64,817 tokens。 评估 28 个决策模型发现,多数模型在普通知识上表现良好,但在选项逻辑与约束规划上表现较差。 MMDM 为联合推理、约束感知选择及完整多选恢复等决策模型关键方向提供了测试平台。

  10. arXiv · ML31

    Transformer 组合泛化评估:组合等价与模块覆盖率的作用

    系统评估表明,Transformer 组合泛化性能受组合等价和模块覆盖率强烈影响。直接模型主要利用组合等价获得高分,消除等价后性能显著下降。 模块覆盖率偏移会导致直接模型和分步模型性能单调下降。基准中存在的组合等价可能导致对直接模型泛化能力的显著高估。 以 LiveCodeBench 为例,展示了组合等价对预训练模型 Llama3-8B 在代码输出预测任务中泛化表现的影响。

11月10日周二
  1. arXiv · AI24

    DDBench:面向分布式系统智能体调试的基准测试

    DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。

  2. arXiv · AI37

    Spatial-IQ:基于层级能力测试解构空间智能

    研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。

  3. arXiv · AI34

    LibEvoBench:探析代码生成模型中的时间知识分层

    LibEvoBench 发布,旨在评估 LLM 处理多版本 Python 库 API 演进的能力,并引入 SEUS 指标。结果显示 SOTA 模型具有“版本盲点”,在演进 API 上性能下降,仅指定版本无效,但相关文档能显著提升准确率。该发现揭示了现有训练范式的系统性局限,推动时间定位知识在代码生成中的应用。

  4. arXiv · AI35

    PitchBench 评测显示音频语言模型音高感知能力不可靠

    PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。