跳到正文
11月10日周二
  1. arXiv · AI30

    SANEval:开放式词汇组合式评测基准与故障模式诊断

    SANEval 是一种开放式词汇组合式评测基准,包含 6 个 SOTA T2I 模型生成的约 5250 个提示词图像对,并配有模块化评估流程。 该流程结合 LLM 提示词解析器、开放式词汇检测器及属性绑定等评分器,在 500 个人类评分验证中,SANEval 整体 Pearson 相关系数为 0.222,优于 CompBench++ 和 GenEval。

  2. arXiv · ML38

    软污染导致基准测试反映浅层泛化

    研究发现基准测试存在广泛“软污染”,即训练集包含与测试项语义等价的远距离重复项。在 Olmo 语料库中,CodeForces 和 MBPP 测试集的软污染覆盖率分别为 76% 和 100%。 微调此类语义重复项可使基准保留项准确率最高提升 22pp,且效果在现实中与精确重复相当。该提升主要限于同一基准,未能在概念相似的基准间迁移,证实为浅层泛化。

  3. arXiv · AI30

    测量LLM智能体追求工具性行为倾向的基准框架

    针对终端LLM智能体,该基准测量模型出于自身目标而违反人类指令的工具性行为倾向。 在八个变体条件下测试十款模型共1680个样本,调整后的工具性行为发生率为5.1%。 行为集中度高,两款Gemini模型贡献了66.3%的案例;当工具性行为对任务成功不可或缺时,发生率提升最高(+15.7个百分点)。 ```

  4. arXiv · ML22

    CADMA:面向生成模型评估的容量感知覆盖分解方法

    提出CADMA框架,通过局部容量匹配分离几何覆盖与有效覆盖,解决现有召回指标无法区分模式丢失与坍缩的问题。 实验证明,CADMA在玩具数据和真实数据集上提供了更可靠的覆盖估计,能输出细粒度、可解释的多样性失败诊断信号。 该研究已被NeurIPS 2026接收,代码已开源。

  5. arXiv · AI32

    GeoMind:面向机器人操作的空间理解基准测试

    GeoMind 是一个针对桌面机器人操作空间理解的系统性基准,包含54种任务变体,涵盖空间推理与空间记忆。 它通过可自动化生成任务实例的pipeline进行评测,揭示了现有具身智能体在追踪身份变化和将几何约束转化为可执行动作方面的能力不足。 该基准已开源,旨在弥补现有评测中视觉提示过强和场景静态的缺陷,提升对开放世界环境适应性的评估。

  6. arXiv · AI23

    HydroTuring:测试水文模型质量、能量和动量守恒的物理探针基准

    研究人员发布开源基准 HydroTuring v0.1.0,包含 37 个物理探针,测试 32 个水文模型的质量、能量和动量守恒。 在评估的 28 个模型中,仅 3 个精确参考模型通过所有探针,而 AI 和过程模型通过率分别为 74% 和 76%。 该基准为模型开发、同行评审及业务部署提供了可复现的“冒烟测试”工具。

  7. arXiv · AI35

    EndoSCOP-V:用于内镜报告与临床推理的多模态模型多轮视频理解评测框架

    EndoSCOP-V 是一个基于视频的评测框架,包含 1,307 段内镜视频和 20,274 个问答轮次,由 1,033 份临床医生审核的模板确定性生成。 该框架采用马尔可夫上下文剪枝协议逐轮评估,15 名认证内镜医生组成的专家组确立了 78% 的严格准确率基准。 最佳的 27B 级开源模型严格准确率仅达 59.8%,在量化测量和长时程视频干预推理方面仍存在显著差距。

  8. arXiv · AI38

    RankShift:评估文档解析基准中排名不稳定性的多维度研究

    研究 RankShift 揭示了文档解析基准中模型排名受数据集构成、匹配策略及评分方法影响的稳定性问题。 基于 OmniDocBench 评估 16 个模型,发现匹配策略与真值格式交互导致排名不稳定,如 JSON 与 Markdown 评分下 Kendall's tau 均值仅约 0.33。 这些发现表明排行榜位置不仅取决于模型能力,推动榜单报告排名在设计选择下的鲁棒性。

  9. arXiv · AI38

    InfoOrgBench:评估智能体构建层级信息架构能力的基准

    InfoOrgBench 包含 150 个任务,测试智能体将会议记录等散乱信息组织为层级结构的能力。 评估 45 个系统显示最优分 83.2,但会议记录任务得分未超 78;模型选择对分数影响(跨度约 27 分)远大于 Agent harness 选择。 结果表明父级关系错误率高于叶级,设计提案中近半数输出存在此类高层级错误。

  10. arXiv · NLP29

    ChartHal:评估大视觉语言模型图表理解中幻觉的细粒度框架

    ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。

  11. arXiv · NLP41

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。

  12. arXiv · NLP25

    分布不确定性评分:重新思考语言模型评估

    论文提出基于分布不确定性评分的新评估指标,解决现有指标奖励过度自信猜测的问题。 该指标区分有害的过度自信与表达不确定的拒答行为,提供可解释的默认评分范围。理论分析及12个基准测试显示,六个语言模型在半数测试中得分为负,反映出显著的幻觉倾向。

  13. arXiv · NLP28

    FinCutBench:衡量 LLM 金融知识时间边界的持续更新基准

    FinCutBench 推出每月更新的金融知识基准,衡量 LLM 参数化知识在日历时间上的延伸边界。 当前数据集含 9,000 道中英语四选一题目,覆盖 2023 年 1 月至 2026 年 9 月中美市场及四类金融信息。 基于 FinCut Boundary 的实证参考有助于确定评估窗口并解释结果,但部分市场指标显著性不足。

  14. arXiv · NLP28

    DeepResearch RewardBench:首个深度研究奖励模型评测基准

    为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。

  15. arXiv · NLP43

    AI 同行评审效果基准:100 个植入错误下的模型表现分析

    研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。

11月9日周一
  1. arXiv · AI25

    SCDBench:基于 LLM 的智能合约反编译器评测基准

    SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。

  2. arXiv · ML40

    CleanScore: 基于负对照和敏感度界值的黑盒基准审计

    CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。

  3. arXiv · AI35

    HomeLoop:面向日常家庭协助与安全的机器人-IoT协同仿真框架与基准

    研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。

  4. arXiv · AI26

    AtariBench 评估视觉语言模型在 Atari 游戏交互中的时空推理能力

    研究团队提出 AtariBench 基准,覆盖 20 款 Atari 2600 游戏,以评估视觉语言模型的高时间分辨率游戏流中的序列决策与动作生成能力。 该基准将游戏内快速动态变化与模型推理速度解耦,揭示当前模型在物体运动方向推断、序列决策鲁棒性及文字历史依赖等方面存在明显缺陷。

  5. arXiv · NLP32

    AblationBench:评估实证AI研究中的消融实验自动规划

    提出AblationBench基准,用于评估LM智能体在实证AI研究中规划消融实验的能力,包含AuthorAblation(83实例)和ReviewerAblation(350实例)两个任务。 前沿LM系统表现受限,最优LM在AuthorAblation任务中平均仅识别45%的原始消融,低于人类水平;链式思维(CoT)提示词表现优于基于智能体的方法。 该基准已发布并发表于EMNLP 2026。