跳到正文
11月10日周二
  1. arXiv · AI38

    RankShift:评估文档解析基准中排名不稳定性的多维度研究

    研究 RankShift 揭示了文档解析基准中模型排名受数据集构成、匹配策略及评分方法影响的稳定性问题。 基于 OmniDocBench 评估 16 个模型,发现匹配策略与真值格式交互导致排名不稳定,如 JSON 与 Markdown 评分下 Kendall's tau 均值仅约 0.33。 这些发现表明排行榜位置不仅取决于模型能力,推动榜单报告排名在设计选择下的鲁棒性。

  2. arXiv · AI38

    InfoOrgBench:评估智能体构建层级信息架构能力的基准

    InfoOrgBench 包含 150 个任务,测试智能体将会议记录等散乱信息组织为层级结构的能力。 评估 45 个系统显示最优分 83.2,但会议记录任务得分未超 78;模型选择对分数影响(跨度约 27 分)远大于 Agent harness 选择。 结果表明父级关系错误率高于叶级,设计提案中近半数输出存在此类高层级错误。

  3. arXiv · NLP29

    ChartHal:评估大视觉语言模型图表理解中幻觉的细粒度框架

    ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。

  4. arXiv · NLP41

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。

  5. arXiv · NLP25

    分布不确定性评分:重新思考语言模型评估

    论文提出基于分布不确定性评分的新评估指标,解决现有指标奖励过度自信猜测的问题。 该指标区分有害的过度自信与表达不确定的拒答行为,提供可解释的默认评分范围。理论分析及12个基准测试显示,六个语言模型在半数测试中得分为负,反映出显著的幻觉倾向。

  6. arXiv · NLP28

    FinCutBench:衡量 LLM 金融知识时间边界的持续更新基准

    FinCutBench 推出每月更新的金融知识基准,衡量 LLM 参数化知识在日历时间上的延伸边界。 当前数据集含 9,000 道中英语四选一题目,覆盖 2023 年 1 月至 2026 年 9 月中美市场及四类金融信息。 基于 FinCut Boundary 的实证参考有助于确定评估窗口并解释结果,但部分市场指标显著性不足。

  7. arXiv · NLP28

    DeepResearch RewardBench:首个深度研究奖励模型评测基准

    为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。

  8. arXiv · NLP43

    AI 同行评审效果基准:100 个植入错误下的模型表现分析

    研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。

11月9日周一
  1. 36氪85

    GPT-6.2 Sol 灰度上线,Artificial Analysis 60 分压过 Opus 5.5

    GPT-6.2 Sol 已进入 ChatGPT 灰度路由,官方 OpenAI Dev 账号发布视频标题 Tomorrow。Artificial Analysis 智能指数中 GPT-6.2 Sol(Max)得 60 分,平均任务耗时 18.7 分钟,单任务成本 1.19 美元,优于 Opus 5.5。

    推荐理由:原文给出灰度路由、Artificial Analysis 60 分与 18.7 分钟耗时、1.19 美元成本,可据此判断 GPT-6.2 Sol 的位置。

  2. arXiv · AI25

    SCDBench:基于 LLM 的智能合约反编译器评测基准

    SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。

  3. arXiv · ML40

    CleanScore: 基于负对照和敏感度界值的黑盒基准审计

    CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。

  4. arXiv · AI35

    HomeLoop:面向日常家庭协助与安全的机器人-IoT协同仿真框架与基准

    研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。

  5. arXiv · AI26

    AtariBench 评估视觉语言模型在 Atari 游戏交互中的时空推理能力

    研究团队提出 AtariBench 基准,覆盖 20 款 Atari 2600 游戏,以评估视觉语言模型的高时间分辨率游戏流中的序列决策与动作生成能力。 该基准将游戏内快速动态变化与模型推理速度解耦,揭示当前模型在物体运动方向推断、序列决策鲁棒性及文字历史依赖等方面存在明显缺陷。

  6. arXiv · NLP32

    AblationBench:评估实证AI研究中的消融实验自动规划

    提出AblationBench基准,用于评估LM智能体在实证AI研究中规划消融实验的能力,包含AuthorAblation(83实例)和ReviewerAblation(350实例)两个任务。 前沿LM系统表现受限,最优LM在AuthorAblation任务中平均仅识别45%的原始消融,低于人类水平;链式思维(CoT)提示词表现优于基于智能体的方法。 该基准已发布并发表于EMNLP 2026。

11月8日周日
  1. LessWrong · All Posts38

    Inspect AI 实操教程:构建 AI 评估的 Jupyter Notebook 系列

    一个四人项目团队发布了一套 Inspect AI 实操教程,包含 4 个 Jupyter Notebook,覆盖从首次评估到基准测试、LLM judges 及智能体构建的全过程。 团队修订了官方教程,新增 Custom Solvers 章节并修复不一致性,所有资源在 Google Colab 和 GitHub 上开放。 作者认为,教会人们构建评估对 AI 安全的意义大于对能力发展的意义。

11月7日周六
  1. The Decoder83

    开源与闭源模型在网络攻击能力上的差距持续缩小

    Vals AI发布CyberOffense基准,测试AI Agent独立入侵模拟企业网络的能力。OpenAI受限的GPT-6 Sol在Daybreak网络安全项目中完成80.8%的攻击目标,而开源的DeepSeek V4.1 Flash 1017以单次约$3的成本达成72.8%,接近闭源水平(单次约$22)。

    推荐理由:Vals AI的CyberOffense基准显示开源模型在独立渗透模拟企业网络中的能力已接近受限专有模型。

  2. Hacker News AI50

    Slop Index 基准测试:评估 58 款前沿 AI 模型生成文本的“AI 味”程度

    Slop Index 发布参考基准,通过机器测量与盲测人类投票,量化 58 款前沿 AI 模型写作“像 AI 垃圾”的程度。 评分基于 2000-2002 年真实邮件及 2022 年前非 AI 语料库,结合简洁度、模板化等指标,40% 权重来自人类投票,分数越高代表“AI 味”越重。 该基准不包含 LLM 自我评判,旨在提供可复现的客观数据,让用户直观识别并规避典型 AI 生成痕迹。