基于委托-代理模型的 AI 基准测试题目聚合优化方法
该研究提出一种将基准测试建模为多任务委托-代理博弈的新方法,主张摒弃传统的均匀平均分聚合,转而依据题目对规范性福利的对齐度、边际可改进性及性能方差三个维度重新评估题目价值。
该研究提出一种将基准测试建模为多任务委托-代理博弈的新方法,主张摒弃传统的均匀平均分聚合,转而依据题目对规范性福利的对齐度、边际可改进性及性能方差三个维度重新评估题目价值。
SANEval 是一种开放式词汇组合式评测基准,包含 6 个 SOTA T2I 模型生成的约 5250 个提示词图像对,并配有模块化评估流程。 该流程结合 LLM 提示词解析器、开放式词汇检测器及属性绑定等评分器,在 500 个人类评分验证中,SANEval 整体 Pearson 相关系数为 0.222,优于 CompBench++ 和 GenEval。
研究发现基准测试存在广泛“软污染”,即训练集包含与测试项语义等价的远距离重复项。在 Olmo 语料库中,CodeForces 和 MBPP 测试集的软污染覆盖率分别为 76% 和 100%。 微调此类语义重复项可使基准保留项准确率最高提升 22pp,且效果在现实中与精确重复相当。该提升主要限于同一基准,未能在概念相似的基准间迁移,证实为浅层泛化。
研究人员推出名为 Science Edge Evaluation (SEE) 的多模态基准测试,评估 28 个模型后发现最佳准确率仅为 54.9%。测试显示通用模型平均表现优于科学专用模型,且工具使用虽将最高准确率提升至 56.1%,但无法确保模型在实验证据边界内进行可靠推理。
多模态大语言模型(MLLMs)在传统静态基准测试与动态现实应用间存在评估偏差,CEDI框架提出了一种评估者与考员模型及评分者三方交互的新方法。 该框架基于任务图构建,通过多轮对话策略(如澄清请求与对抗性探测)识别模型幻觉。
OpenClawBench 包含 31,264 条标注轨迹,揭示 9.33% 任务成功执行仍存过程异常。 LoRA 微调 Gemma 3 12B 检测器在银色测试集达到 F1=0.729,优于 GPT-5.4 参考 0.302。 该基准将执行日志转化为可审计监督,支持实时 Agent 可靠性监测。
TeachArena 提出包含 354 项任务的基准,联合评估教学判断、多轮辅导及 LMS 工作流。 评估显示前沿模型在局限场景下具备判断力,但在情境辅导和端到端执行上未达专业标准。 该基准为开发支持真实教学工作的辅导 Agent 提供了测量基础。
针对终端LLM智能体,该基准测量模型出于自身目标而违反人类指令的工具性行为倾向。 在八个变体条件下测试十款模型共1680个样本,调整后的工具性行为发生率为5.1%。 行为集中度高,两款Gemini模型贡献了66.3%的案例;当工具性行为对任务成功不可或缺时,发生率提升最高(+15.7个百分点)。 ```
提出CADMA框架,通过局部容量匹配分离几何覆盖与有效覆盖,解决现有召回指标无法区分模式丢失与坍缩的问题。 实验证明,CADMA在玩具数据和真实数据集上提供了更可靠的覆盖估计,能输出细粒度、可解释的多样性失败诊断信号。 该研究已被NeurIPS 2026接收,代码已开源。
GeoMind 是一个针对桌面机器人操作空间理解的系统性基准,包含54种任务变体,涵盖空间推理与空间记忆。 它通过可自动化生成任务实例的pipeline进行评测,揭示了现有具身智能体在追踪身份变化和将几何约束转化为可执行动作方面的能力不足。 该基准已开源,旨在弥补现有评测中视觉提示过强和场景静态的缺陷,提升对开放世界环境适应性的评估。
研究人员发布开源基准 HydroTuring v0.1.0,包含 37 个物理探针,测试 32 个水文模型的质量、能量和动量守恒。 在评估的 28 个模型中,仅 3 个精确参考模型通过所有探针,而 AI 和过程模型通过率分别为 74% 和 76%。 该基准为模型开发、同行评审及业务部署提供了可复现的“冒烟测试”工具。
EndoSCOP-V 是一个基于视频的评测框架,包含 1,307 段内镜视频和 20,274 个问答轮次,由 1,033 份临床医生审核的模板确定性生成。 该框架采用马尔可夫上下文剪枝协议逐轮评估,15 名认证内镜医生组成的专家组确立了 78% 的严格准确率基准。 最佳的 27B 级开源模型严格准确率仅达 59.8%,在量化测量和长时程视频干预推理方面仍存在显著差距。
ChainCheck 审计框架通过配对条件对比发现,证据充分性基准中接近完美的评分可能仅反映对文本编辑伪影的敏感性,而非多跳推理能力。
研究人员推出 Discrete Diffusion Playground 基准,通过精确离散化双射将 2D 连续分布转换为二进制 token 序列。 该基准支持精确网格散度、Wasserstein 距离及非参数两样本检验,能揭示标准代理指标无法发现的失败模式。
RealEmbedBench 发布 5142 个样本的基准测试,评估 6 款 LLM 在应用层嵌入式软件开发中的表现,涵盖代码生成、状态机建模及跨 OS 代码翻译任务。
研究 RankShift 揭示了文档解析基准中模型排名受数据集构成、匹配策略及评分方法影响的稳定性问题。 基于 OmniDocBench 评估 16 个模型,发现匹配策略与真值格式交互导致排名不稳定,如 JSON 与 Markdown 评分下 Kendall's tau 均值仅约 0.33。 这些发现表明排行榜位置不仅取决于模型能力,推动榜单报告排名在设计选择下的鲁棒性。
InfoOrgBench 包含 150 个任务,测试智能体将会议记录等散乱信息组织为层级结构的能力。 评估 45 个系统显示最优分 83.2,但会议记录任务得分未超 78;模型选择对分数影响(跨度约 27 分)远大于 Agent harness 选择。 结果表明父级关系错误率高于叶级,设计提案中近半数输出存在此类高层级错误。
研究团队发布 OPAL-Bench 基准,将晶体结构预测(CSP)与对称性信息晶体结构预测(SICSP)作为独立任务评估。该基准涵盖 4 个数据集,测试 7 种 CSP 方法和 2 种 SICSP 方法,采用阈值无关的几何与物理距离指标,并考虑多晶型现象。
研究提出确定性验证器评估工具调用,发现 Gemini-2.0-Flash 准确率从 63.4% 降至 5.6%。 配对实验显示注入错误参数使错误率升至 74.5%(+22.0 个百分点);部分模型在 0-42.5% 轨迹中存在未执行即报告结果。
ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。
InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。
论文提出基于分布不确定性评分的新评估指标,解决现有指标奖励过度自信猜测的问题。 该指标区分有害的过度自信与表达不确定的拒答行为,提供可解释的默认评分范围。理论分析及12个基准测试显示,六个语言模型在半数测试中得分为负,反映出显著的幻觉倾向。
多模态大模型在复杂推理上表现强劲,但难以解决人类轻松处理的视觉问题。HumanSightBench 旨在评估这一差距,包含2876个短答视觉问题,涵盖7个顶级感知类别和21个子类别。
FinCutBench 推出每月更新的金融知识基准,衡量 LLM 参数化知识在日历时间上的延伸边界。 当前数据集含 9,000 道中英语四选一题目,覆盖 2023 年 1 月至 2026 年 9 月中美市场及四类金融信息。 基于 FinCut Boundary 的实证参考有助于确定评估窗口并解释结果,但部分市场指标显著性不足。
为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。
研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。
Jev 1.14.0 在 67 个系统和 43 项任务上的平均主要指标为 69.24,低于 Gemma-4-31B 的 71.81。Jev 1.14.0 相对于 1.13.0 的提升幅度因任务族而异。 内容匹配对比显示,Jev 1.14.0 的方言减 MSA 准确率差距在四个数据集中范围为 -7.94 至 -0.35 个百分点。
研究评估了四个 LLM 模型在 473 名成人基准下模拟认知多样性的能力,结果发现模型在自我报告人格特质上能复现人类分布,但在认知任务表现和行为下游影响上缺乏变异性。
提出 DramaGrow 基准测试,用于审计 LLM 在中国五集戏剧评判中的可靠性。该测试包含 800 个剧集、120 次干预和 1155 条双盲人工评分记录。在 114 对偏好测试中,DirectPair-GLM 模型达到 85.1% 的偏好准确率。该基准强调评估协议对 LLM 裁判表现的影响。
NVIDIA 在 CoRL 会议上推出了 GR00T 2 世界动作模型和 Isaac Lab 3.0 机器人学习框架,用于提升机器人在精细操作和工业自动化中的表现。
推荐理由:官方发布了 GR00T 2 等机器人模型及 Isaac Lab 3.0,展示了通过仿真训练和 Agentic 工作流提升机器人操作精度的方法。
SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。
CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。
针对 LLM-as-a-judge 评估成本高昂问题,论文提出实例最优的多裁判评估估计方法,结合已知裁判成本与独立无偏评分观察,解决固定预算下评估查询的分配难题。
研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。
研究团队提出 AtariBench 基准,覆盖 20 款 Atari 2600 游戏,以评估视觉语言模型的高时间分辨率游戏流中的序列决策与动作生成能力。 该基准将游戏内快速动态变化与模型推理速度解耦,揭示当前模型在物体运动方向推断、序列决策鲁棒性及文字历史依赖等方面存在明显缺陷。
研究引入包含 100 个问题的 DS-QA 基准,利用 100 次重复运行的 Monte Carlo 协议评估 OpenAI 模型在数据科学任务中的可靠性。结果显示模型在中等和困难级别的数据可视化与监督学习任务中表现波动大,且词级冗长度每增加 0.1,token 级冗长度增加约 0.013。
研究在 SWE-bench Verified 的 500 个实例上,对比了 GPT-OSS-120B 和 Nemotron-3-Ultra-550B 两种模型的 bash-only 与 debugger-only agent,发现两次 bash 运行优于一次 bash 加一次调试器的组合。
论文提出按击败的缓解措施组织的基准污染分类学,涵盖直接、衍生、时间、分布和获取五种类型。获取型污染是单次运行属性,需随分数记录而非基准发布。该贡献包含分类学、分数端工件以及预注册可靠性测量,当前无文档覆盖全部五类。
新基准 DriftBench 显示,多数模型在迭代优化时会出现超过 50% 的“知错犯错”率,即重述正确但仍违背原始约束。 该测试覆盖 24 个科学领域的 38 份简报及 7 个模型,发现迭代压力会降低约束遵循度,且人工评分发现的违规更多,表明 LLM 法官评估偏保守。
提出AblationBench基准,用于评估LM智能体在实证AI研究中规划消融实验的能力,包含AuthorAblation(83实例)和ReviewerAblation(350实例)两个任务。 前沿LM系统表现受限,最优LM在AuthorAblation任务中平均仅识别45%的原始消融,低于人类水平;链式思维(CoT)提示词表现优于基于智能体的方法。 该基准已发布并发表于EMNLP 2026。