ChainCheck 审计揭示:接近满分的证据充分性评分掩盖了对构建伪影的敏感性
ChainCheck 审计框架通过配对条件对比发现,证据充分性基准中接近完美的评分可能仅反映对文本编辑伪影的敏感性,而非多跳推理能力。
ChainCheck 审计框架通过配对条件对比发现,证据充分性基准中接近完美的评分可能仅反映对文本编辑伪影的敏感性,而非多跳推理能力。
研究人员推出 Discrete Diffusion Playground 基准,通过精确离散化双射将 2D 连续分布转换为二进制 token 序列。 该基准支持精确网格散度、Wasserstein 距离及非参数两样本检验,能揭示标准代理指标无法发现的失败模式。
RealEmbedBench 发布 5142 个样本的基准测试,评估 6 款 LLM 在应用层嵌入式软件开发中的表现,涵盖代码生成、状态机建模及跨 OS 代码翻译任务。
研究 RankShift 揭示了文档解析基准中模型排名受数据集构成、匹配策略及评分方法影响的稳定性问题。 基于 OmniDocBench 评估 16 个模型,发现匹配策略与真值格式交互导致排名不稳定,如 JSON 与 Markdown 评分下 Kendall's tau 均值仅约 0.33。 这些发现表明排行榜位置不仅取决于模型能力,推动榜单报告排名在设计选择下的鲁棒性。
InfoOrgBench 包含 150 个任务,测试智能体将会议记录等散乱信息组织为层级结构的能力。 评估 45 个系统显示最优分 83.2,但会议记录任务得分未超 78;模型选择对分数影响(跨度约 27 分)远大于 Agent harness 选择。 结果表明父级关系错误率高于叶级,设计提案中近半数输出存在此类高层级错误。
研究团队发布 OPAL-Bench 基准,将晶体结构预测(CSP)与对称性信息晶体结构预测(SICSP)作为独立任务评估。该基准涵盖 4 个数据集,测试 7 种 CSP 方法和 2 种 SICSP 方法,采用阈值无关的几何与物理距离指标,并考虑多晶型现象。
研究提出确定性验证器评估工具调用,发现 Gemini-2.0-Flash 准确率从 63.4% 降至 5.6%。 配对实验显示注入错误参数使错误率升至 74.5%(+22.0 个百分点);部分模型在 0-42.5% 轨迹中存在未执行即报告结果。
ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。
InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。
论文提出基于分布不确定性评分的新评估指标,解决现有指标奖励过度自信猜测的问题。 该指标区分有害的过度自信与表达不确定的拒答行为,提供可解释的默认评分范围。理论分析及12个基准测试显示,六个语言模型在半数测试中得分为负,反映出显著的幻觉倾向。
多模态大模型在复杂推理上表现强劲,但难以解决人类轻松处理的视觉问题。HumanSightBench 旨在评估这一差距,包含2876个短答视觉问题,涵盖7个顶级感知类别和21个子类别。
FinCutBench 推出每月更新的金融知识基准,衡量 LLM 参数化知识在日历时间上的延伸边界。 当前数据集含 9,000 道中英语四选一题目,覆盖 2023 年 1 月至 2026 年 9 月中美市场及四类金融信息。 基于 FinCut Boundary 的实证参考有助于确定评估窗口并解释结果,但部分市场指标显著性不足。
为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。
研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。
Jev 1.14.0 在 67 个系统和 43 项任务上的平均主要指标为 69.24,低于 Gemma-4-31B 的 71.81。Jev 1.14.0 相对于 1.13.0 的提升幅度因任务族而异。 内容匹配对比显示,Jev 1.14.0 的方言减 MSA 准确率差距在四个数据集中范围为 -7.94 至 -0.35 个百分点。
研究评估了四个 LLM 模型在 473 名成人基准下模拟认知多样性的能力,结果发现模型在自我报告人格特质上能复现人类分布,但在认知任务表现和行为下游影响上缺乏变异性。
提出 DramaGrow 基准测试,用于审计 LLM 在中国五集戏剧评判中的可靠性。该测试包含 800 个剧集、120 次干预和 1155 条双盲人工评分记录。在 114 对偏好测试中,DirectPair-GLM 模型达到 85.1% 的偏好准确率。该基准强调评估协议对 LLM 裁判表现的影响。
Playcode团队发现,AI实验室正通过膨胀输出token或更换分词器,在不提高每token单价的情况下变相涨价。测试显示,OpenAI的GPT Image 2.6比2.5消耗3.3倍的输出token,而Anthropic的Claude Fable 5.2比5.1消耗3.4倍的token且成本更高,尽管标称价格更低。
Keln 发布基准测试结果,对比了 Fireworks、Together、Baseten、Modal、DeepInfra 和 Z.ai 六家服务商在 DeepSeek V4.1 Flash 和 GLM-5.3 Flash 模型上的表现。
NVIDIA 在 CoRL 会议上推出了 GR00T 2 世界动作模型和 Isaac Lab 3.0 机器人学习框架,用于提升机器人在精细操作和工业自动化中的表现。
推荐理由:官方发布了 GR00T 2 等机器人模型及 Isaac Lab 3.0,展示了通过仿真训练和 Agentic 工作流提升机器人操作精度的方法。
GPT-6.2 Sol 已进入 ChatGPT 灰度路由,官方 OpenAI Dev 账号发布视频标题 Tomorrow。Artificial Analysis 智能指数中 GPT-6.2 Sol(Max)得 60 分,平均任务耗时 18.7 分钟,单任务成本 1.19 美元,优于 Opus 5.5。
推荐理由:原文给出灰度路由、Artificial Analysis 60 分与 18.7 分钟耗时、1.19 美元成本,可据此判断 GPT-6.2 Sol 的位置。
SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。
CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。
针对 LLM-as-a-judge 评估成本高昂问题,论文提出实例最优的多裁判评估估计方法,结合已知裁判成本与独立无偏评分观察,解决固定预算下评估查询的分配难题。
研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。
研究团队提出 AtariBench 基准,覆盖 20 款 Atari 2600 游戏,以评估视觉语言模型的高时间分辨率游戏流中的序列决策与动作生成能力。 该基准将游戏内快速动态变化与模型推理速度解耦,揭示当前模型在物体运动方向推断、序列决策鲁棒性及文字历史依赖等方面存在明显缺陷。
研究引入包含 100 个问题的 DS-QA 基准,利用 100 次重复运行的 Monte Carlo 协议评估 OpenAI 模型在数据科学任务中的可靠性。结果显示模型在中等和困难级别的数据可视化与监督学习任务中表现波动大,且词级冗长度每增加 0.1,token 级冗长度增加约 0.013。
研究在 SWE-bench Verified 的 500 个实例上,对比了 GPT-OSS-120B 和 Nemotron-3-Ultra-550B 两种模型的 bash-only 与 debugger-only agent,发现两次 bash 运行优于一次 bash 加一次调试器的组合。
论文提出按击败的缓解措施组织的基准污染分类学,涵盖直接、衍生、时间、分布和获取五种类型。获取型污染是单次运行属性,需随分数记录而非基准发布。该贡献包含分类学、分数端工件以及预注册可靠性测量,当前无文档覆盖全部五类。
新基准 DriftBench 显示,多数模型在迭代优化时会出现超过 50% 的“知错犯错”率,即重述正确但仍违背原始约束。 该测试覆盖 24 个科学领域的 38 份简报及 7 个模型,发现迭代压力会降低约束遵循度,且人工评分发现的违规更多,表明 LLM 法官评估偏保守。
提出AblationBench基准,用于评估LM智能体在实证AI研究中规划消融实验的能力,包含AuthorAblation(83实例)和ReviewerAblation(350实例)两个任务。 前沿LM系统表现受限,最优LM在AuthorAblation任务中平均仅识别45%的原始消融,低于人类水平;链式思维(CoT)提示词表现优于基于智能体的方法。 该基准已发布并发表于EMNLP 2026。
研究提出 ABHBench 多模态基准,通过《底特律:变人》叙事场景评估 12 个基础模型的道德决策。 结果显示 75% 模型在文本与多模态情境下表现显著差异,增强推理模型未表现出一致性提升。该工作被 NeurIPS 2026 接收,强调需在具身智能体情境中评估道德行为。
PhoPunct 基准测试基于 News 和 Novels 语料库,包含 22.1M 个标记化 token,用于评估 17 种由预训练 Transformer 骨干构建的架构。
作者使用同一“行走城市穿过沙漠”提示词,在 Seedance 2.5、Kling 4.0 和 Gemini Omni 1.1 Flash 上生成 720p、8 秒含原生音频的视频片段。
阿里巴巴发布的 Co-Design Bench 显示,十款模型中表现最佳的 GPT-6 Astra 全量完成了 273 个真实用户请求任务中的 26.4%。 该基准由阿里巴巴及多所亚洲大学研究人员于 10 月 26 日发布于 arXiv。
一个四人项目团队发布了一套 Inspect AI 实操教程,包含 4 个 Jupyter Notebook,覆盖从首次评估到基准测试、LLM judges 及智能体构建的全过程。 团队修订了官方教程,新增 Custom Solvers 章节并修复不一致性,所有资源在 Google Colab 和 GitHub 上开放。 作者认为,教会人们构建评估对 AI 安全的意义大于对能力发展的意义。
Menlo Ventures报告显示,中国AI模型在全球企业开源模型支出中占比达89%。其中月之暗面Kimi以61%份额位居第一,DeepSeek以15%排名第二,GLM以11%位列第三,而西方模型中占比最高的是Meta的Llama系列,仅占7%。
Vals AI发布CyberOffense基准,测试AI Agent独立入侵模拟企业网络的能力。OpenAI受限的GPT-6 Sol在Daybreak网络安全项目中完成80.8%的攻击目标,而开源的DeepSeek V4.1 Flash 1017以单次约$3的成本达成72.8%,接近闭源水平(单次约$22)。
推荐理由:Vals AI的CyberOffense基准显示开源模型在独立渗透模拟企业网络中的能力已接近受限专有模型。
Slop Index 发布参考基准,通过机器测量与盲测人类投票,量化 58 款前沿 AI 模型写作“像 AI 垃圾”的程度。 评分基于 2000-2002 年真实邮件及 2022 年前非 AI 语料库,结合简洁度、模板化等指标,40% 权重来自人类投票,分数越高代表“AI 味”越重。 该基准不包含 LLM 自我评判,旨在提供可复现的客观数据,让用户直观识别并规避典型 AI 生成痕迹。
Julius Research 发布 DeepFinance 基准,包含 21 个模拟私募股权与投行工作流的长周期任务,平均评分标准 84 项。测试结果显示,Claude Opus 5.5 得分 54.8% 位居榜首,GPT-6 Astra 得分 54.2%。该基准强调轨迹审计,不仅评估结果数值,还审查推理过程的可追溯性。