ChemArgus:面向实验室级多模态化学推理的前沿自动化科学诊断基准
提出 ChemArgus 基准,通过细粒度评分、多模态任务及诊断归因特性评估化学推理能力。 GPT-5.6-Sol 无辅助解题得 23.2%,在两个顺序指标下得 28.8% 和 30.4%,差距衡量整合负担。 该基准旨在引导语言模型逐步走向化学专业知识,通过评分定位推理链断裂点。
提出 ChemArgus 基准,通过细粒度评分、多模态任务及诊断归因特性评估化学推理能力。 GPT-5.6-Sol 无辅助解题得 23.2%,在两个顺序指标下得 28.8% 和 30.4%,差距衡量整合负担。 该基准旨在引导语言模型逐步走向化学专业知识,通过评分定位推理链断裂点。
研究提出MAPLE框架,以评估知识提取增强(KEE)技术对大语言模型的影响。 MAPLE在表层、概率层和采样外层解耦效应,通过测量答案恢复、破坏及排名变化进行诊断。研究评估了OLMo2、Qwen2.5和Llama3三种模型家族的六种KEE技术。 结果显示不同技术间存在显著差异与权衡,表明MAPLE在超越整体准确率方面具有重要价值。
OpenTWBench 推出台湾领域 LLM 评测套件,包含 25.3 万道考题及 1696 道生活常识题。 tw-exam-bench 基于 15 年国考数据,tw-formora-bench 针对现实台湾生活场景。 发现评测工具显著影响分数,更换答案提取方式使准确率从 20.8% 升至 93.9%。
研究团队发布包含1000道问题的评测基准BANGLAPLAN,专门用于测试LLM在孟加拉语环境下的约束规划能力。 该基准涵盖十类任务及四种语言变体,答案采用JSON格式。实验表明GPT-6.1 Sol准确率达98.7%,而多数直接回答配置低于“始终不可行”基线。 该基准为评估孟加拉语规划任务提供了可复现基础,并显示难题主要降低计划构建准确率。
MA-Bench 基于军事任务分析场景,包含 10 个合成文档包和 1257 项专家编写的通过/失败要求。 最优前沿模型在该基准的评分项中正确率为 62%;模型在事实陈述上得分最高(58%),在推断判断上得分最低(33%),且 60% 的失败归因于遗漏而非错误。 MA-Bench 已公开数据文档、评分规则、提示词及评分器。
论文提出 PersEvalBench 基准,包含 403 个多集数场景,测试 LLM 评估器能否识别用户历史信息的恰当使用。 该基准覆盖过度个性化、不足个性化和误用状态三类共九种错误亚型。在五个 LLM 评估器测试中,即使拥有完整对话历史,其识别受控个性化错误的能力依然有限。 结果证实评估器常混淆错误方向,且简化证据呈现方式对提升识别准确率帮助甚微。
Chatbot Arena 基于 Bradley-Terry 模型的评分假设 Luce 选择公理,但分析显示该公理在近似模型间失效。 1.8 百万投票数据显示,同模型不同版本间的投票决断性比预测高 1.37 倍,且效果随模型相似度增加。 通过引入 4 至 6 个参数并重点建模平局的修正方法,在保留集上预测优于原有模型,但未显著改变排行榜顺序。
该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。
OSCAR 模型联合估计候选分数、评委敏感性及位置偏差,修正 Bradley-Terry 模型在显示顺序偏好下的拟合误差。 位置调整使四个数据集的留出对数损失降低 14-23%,在 MT-Bench 上使 GPT-4 取代 claude-v1 排名首位。 模拟显示评委敏感性恢复精度提升,95% 置信区间覆盖率达 94.4-95.2%。
针对 CLIP 测试时自适应(TTA4CLIP)驱动因素不清问题,研究提出开源基准 TTABC 并整合 20 余种代表性方法。TTABC 统一评测协议,将现有方法归为三种更新范式,通过受控实验分析参数更新机制。研究发现 TTA 无通用最优解,性能提升主要依赖测试时证据而非重型优化。
针对扩散模型推荐系统缺乏统一量化基准导致结果不可复现的问题,论文提出首个开源统一评估框架 Eval4DiRec。 该框架支持 14 种代表性模型在 5 种推荐场景下运行,通过统一的数据处理、训练配置与评估协议提供可复现实验设置,揭示影响性能的关键因素与挑战。
研究团队推出GameHorizon Suite,构建首个大规模AAA级游戏游玩数据集,包含21款游戏5,000小时由100名专家玩家录制的视频。 套件包含自动标注流水线、数据及包含离线与在线测试的基准测试,通过47个模型超100万次调用揭示任务难度层级。 该工作为评估不同模型跨时间尺度的游戏游玩能力提供了标准化标尺。
RAIL提出基于CHC框架的听觉智能基准,评估26个大音频语言模型发现知识任务表现强但听觉感知与记忆弱。 该基准揭示模型依赖语言预训练,听觉推理效率低且落后于人类表现。 RAIL确立了人类对齐的听觉智能评估新框架,已被NeurIPS 2026接收。
研究团队提出统一基准 GEO-Bench,用于在相同协议下评估生成式引擎优化中的排序操纵攻击效果与隐蔽性。 该基准整合黑盒提示词、白盒梯度及白帽策略,基于 Llama-3.1-8B-Instruct 和五类数据集进行评分。 评测发现攻击有效性与隐蔽性存在权衡,且访问模式无法预测攻击强度,为开发相关检测技术提供了支持。
研究者提出 LoopArena 基准,评测模型指导独立编码智能体处理长时任务的能力。 该基准包含三种设置,其中全任务严格成功率最高仅为 36.25%,平均降低 60.6% 的推理成本估算。 作者已开源基准数据及评估代码。
PhysElite 发布了一个包含 11,586 道奥赛级难题的双语多模态基准,涵盖图示与逐步推导。 该基准测试了 18 个开源和闭源 MLLM,最强模型仅达 33.7% 答案准确率,并通过步骤级诊断定位推理链中的失败点。
研究者发布 PASB 基准,在 1600 个任务中测试 16 个模型,发现代理保存用户主张后,后续回复依赖该主张的失败率高达 68.1%,未保存时仅为 35.6%。
发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。
summary_zh: Litmus 提出一种零标签系统,通过解析源码提取评估意图,为 AI 流水线自动设计指标组合。 在三个真实代码定义的流水线评测中,Litmus 在科学问答任务上的有效性排名 $\rho$ 值为 0.72,优于最强基线的 0.47。
研究团队推出 LATTEArena 框架,将 15 种 LLM 特征工程方法归纳为 6 维分类法。该框架通过 24 种核心配置进行评测,量化了 token 效率并得出 17 项实证发现。
OracleProto 框架通过知识截止与时间掩码技术,在受控环境中实现大语言模型预测能力的可复现评估。 该框架在 24,300 次预测试验中评估了 27 组模型配置,经审计检索结果中残留信息泄露率仅为 1.37%。 OracleProto 将已解决的预测任务转化为可复用资源,支持预测数据集的持续积累与系统性评估。
研究团队推出开放基准ScoringBench,通过恰当评分规则(如CRPS、能量评分)评估生成完整预测分布的表格基础模型(TabPFN、TabICL、ExaOneTabular、Nori)。
研究人员提出 The Token Games (TTG) 评估框架,让模型互出编程谜题以测试推理,通过 Elo 评分对比 10 个前沿模型。该框架耗时少于 200 美元且无需人工出题,其模型排名与 Humanity's Last Exam 等现有基准高度一致。TTG 旨在通过设计避免评估饱和,并能同时测试创造力与任务创建等其他技能。
Physics基准包含1034道来自博士资格考试的开放式物理问题,用于测试基础模型的解题能力。 该基准涵盖6个核心物理领域,通过基于LLM的评分协议评估数值、符号和文本答案。 测试了53个专有和开源权重模型,结果显示强开源权重模型接近专有模型性能,但多数开源模型正确率仍低于50%。
SWEPatchTest 测试生成基准包含 619 个任务及 82,579 个候选补丁,联合验证率(JVR)仅 9.21%。 基准通过回放测试套件同时衡量问题复现、正确补丁接受与错误补丁拒绝。 验证分数可用于监督微调数据筛选,使 JVR 提升近三倍。
DBA-Bench 是一个面向 LLM 数据库运维智能体的生产保真度基准,包含 231 个有界场景和 10 个持久场景,覆盖五个运维领域。 评估在活跃负载的 PostgreSQL 和分布式 TiDB 环境中进行,考察 8 个基线智能体,其中包含 4 个前沿基础模型、2 个开源权重模型及 2 个由 GPT-5.5 驱动的数据库智能体。
PseudoBench 基准测试 7 个 Agentic Auto-Research 系统,发现其拒绝伪科学前提率近乎为零,最高抵抗率仅 27.4%。 该基准包含 5 个领域的 200 组伪科学论据对,测试显示更强模型倾向于用精致科学语言包装伪科学以提升可信度。 研究结论呼吁在系统广泛部署前实施科学对齐,以防止其助长伪科学污染学术文献。
双编码器视觉语言模型在否定语义上系统性失效,难以区分“无狗”与“有狗”的图像。研究指出这是单嵌入框架在对比训练下的固有缺陷,无法有效惩罚被否定概念的存在。 KTN 提出一种无需训练的图像侧拒绝维度,直接在视觉表征中惩罚被否定概念。
论文提出全对比较法,量化LLM评测中由生成不同答案产生的预测噪声和抽样问题产生的数据噪声。 通过数百万次问题级预测发现,多数评测的总噪声水平高度可预测,且成对预测噪声通常高于数据噪声。 该方法能有效提升统计功效,辅助研究者更准确地评估评测结果并做出实证决策。
BenchHub 是一个将基准视为实例级属性分布的组成感知评估框架,旨在解耦模型能力与基准构成。 该框架整合 54 个基准、涵盖 10 种语言的 839K 样本,支持构建可控评估集以优化模型选择。 论文已被 NeurIPS 2026 接收,推动基准组成透明化与可检查的评估实践。
CWE-bench 是一项包含 120 个隐藏仓库审计修复任务的基准,覆盖 73 种 CWE 类型、8 种语言及 OWASP Top 10 2025 所有类别,最佳智能体在 4 次重试中达到 81% 通过率。 验证器经智能体评审团校验,实验显示重试增益和成本因智能体差异巨大,且漏洞类别造成的难度波动远大于编程语言。 在攻击能力随智能体提升的背景下,该基准用于衡量其防御能力是否同步跟进。
UA-Bench 提出首个评估大型音频语言模型水下声学识别能力的大规模基准,包含 375,051 条参数化音频记录。模型在 2,600 条测试集上无任务适配的叶级准确率仅为 2.0%–13.1%,而随机基线为 7.7%。该基准为模型提供了参考点,其发布的训练分区支持后续适配研究。
研究通过构建涵盖选择题与开放题的本地化基准数据集,评估了 12 个 LLM 在香港消防安全规范中的合规表现。 专有模型在选择题上准确率仅 80-90%,而开放题经专家评估准确率仅为 50-70%,表明 LLM 在专业合规任务中仍有较大改进空间。
Jev 和 Decider 等决策模型在9个面板27次对比中表现接近 LLM 评判者,成本仅为后者的1/16至1/357,耗时仅为1/5至1/350。 两类模型在排序标准上错误模式相似,85%的 LLM 高置信度错误会重复决策模型的错误;级联策略最多仅带来2.7分提升,主要节省成本。 研究建议设计新型决策模型以纠正 LLM 评判者的盲区,反之亦然。
研究团队提出 SPINE 基准,通过 LLM 代理扮演持续反驳用户,对 4 个商业模型和 3 个 Olmo3-7b 模型进行 25 轮内的适应性压力测试,评估 LLM 的奉承行为。
研究团队提出 ForgetBench 基准,用于测量大语言模型在持续知识编辑下的长期参数化记忆遗忘动态。 该基准引入基于概念和基于场景的问答两种评估范式,构建时序知识流以量化记忆老化与跨实例稳定性。 实验揭示了不同模型在长期保留与泛化质量间存在权衡,凸显了构建更健忘记忆机制的必要性。
研究提出“开放知识评测”范式,通过 BeQu 基准(10,000 个实体)评估 LLM 在开放式提示下主动陈述的知识,而非仅回答预设问题。 该基准包含参考语料库用于陈述验证,并分析了推理努力、模型规模、提示格式及知识领域对评测结果的影响。 数据与排行榜已在 GitHub 和 ANONYMIZED 平台公开。
提出可执行任务契约以规范 Agent 鲁棒性测试中任务同类的判定标准。 在 14,336 个 Agent 运行测试中,嵌入阈值规则允许了 75-100% 改变任务的有效编辑,却拒绝了 24-45% 的合法恶意注释。 评估应明确并检查何谓同一任务,以确保测试用例的有效性。
Soohak 发布,一个由 64 位数学家从零撰写的 439 题基准,旨在评估前沿大模型的研究级数学能力。 该基准包含 Challenge 和 Refusal 两个子集。
研究团队推出韩语原生基准KMMMU,包含3,466道题目,覆盖9个学科和9种视觉模态。 基准提供KMMMU-Adv和KMMMU-Local子集,针对高难度和韩语特有知识进行评估。 实验显示最强开源模型在KMMMU得分42.05%,顶级专有模型在KMMMU-Adv得分52.42%。 该基准为超越英语中心或翻译式评估的韩语专家级多模态理解提供测试平台。