当语言凌驾于多模态之上:揭示多模态大语言模型中的文本主导现象
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
研究团队提出 ReA-Bench,一个用于诊断 AI 智能体审计行为的基准测试。 该基准包含六个层级的挑战,并配有成对的轨迹版本,样本主要源自真实生产轨迹。 ReA-Bench 旨在帮助服务商识别风险,弥补现有基准在审计失败归因方面的不足。
drydock-eval 本地评估套件可在单张 RTX 5090 上以约 250 次/小时速度测试 Gemma 4 E4B 编码智能体,通过容器隔离与无网络环境保障安全,且通过 200 项逃逸测试。
研究人员开发了一种算法,用于认证在 AI 系统(如 AI agents)部署前测试中,观测到未见失败模式(unknown unknowns)的概率已足够小。该算法构建了一种 anytime-valid 的置信上界序列,允许开发者在测试过程中反复检查界限,并在其低于预设阈值时停止测试,而无需破坏统计保证。
研究人员提出 ChJGBench,一个基于 3,462 份真实判决、覆盖民刑行三类的中文判决生成评测基准,采用 13 类指标的诊断框架。实验显示法律领域模型相对通用模型并无统一优势,刑事类任务表现普遍优于民事与行政类。该工作发表于 EMNLP 2026 主会。
研究提出 CapLadder 基准(1,985 题)实证 LLM 性能受限,弱教师 LoRA 调节实现 1.9 分校准误差的推理精度控制。 多选题中该调节导致 97% 新错误集中于单一字母,且 Logit 干预仅能恢复 52-59% 准确率。 结果表明精准分数控制不等于可迁移的可信能力降级。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。
Arena 排行榜等基于 Bradley-Terry 模型的偏好评估易受恶意操纵。 策略投票、策略提示和策略提名可将模型排名提升 15-20 位,组合使用最高提升 45 位。 此漏洞适用于所有允许开放提示、投票或模型提交的偏好评估框架。
语义消融实验常因混淆内容敏感度与预测效用而得出误导性结论。 研究区分了语义内容敏感度与预测效用,指出预测效用随参考基准变化。 在25项语义消融比较中,仅1项明确隔离了语义贡献的预测效用声明具备清晰对照。
研究将基准特定训练视为投票操纵,证明在Borda计数和平均胜率下该问题是NP难的。 针对MMLU和BBH数据集评估,平均胜率最难被操纵,BBH中其中位鲁棒性达22个任务。
研究提出多阶段评估框架 SAGE-QA,在 10,000 条 SQuAD 2.0 验证样本上,结合语义等价评分(SES)和重验证评分(RVS),以区分生成式 LLM 的词法差异与事实错误。
研究人员发布 SO-Arena 基准,用于评估 21 个 System One 模型在 11 个领域及 5 种能力家族中的表现。 该基准通过受控选项集变化测试决策稳定性,并考察无有效选项时的识别能力,发现性能最强的模型在可靠性排名中仅列第七。 研究指出整体高分不必然意味着决策可靠,需将能力谱系与可靠性作为互补维度进行系统评估。
审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。
提出基准 MLIRBench,包含 1,768 个经执行验证的 torch 与 linalg 程序变异对,评估 9 个 LLM 的语义推理能力。 Gemini 3.1 Pro 在 1,768 对测试中取得 92.65% 的硬标签准确率及 5.04/10 的行为评分,结果显示语义分类能力与详细执行行为预测间存在差距。
ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。
提出包含 2541 道问题的 MechBench,用于评估 LLM 在平行机构专业知识、分析与设计上的能力。该基准通过 MechForge 框架构建,包含标准与高难度层级及九项可执行任务。实验显示领先模型在标准层得分超 95,但在高难度层仅 47-60 分。
针对阿拉伯语伊斯兰问答任务,团队基于微调的google/gemma-4-12B-it模型构建了幻觉检测系统。 该系统在包含600个问答实例的数据集上实现0.912的综合得分,其中幻觉标签准确率为0.935。
ARE-bench 发布 75 个基于真实研究者项目的任务,涵盖 7 个研究阶段、33 项需求及 1173 个二元检查项。 在七个前沿模型中,最强模型仅通过 66.2% 的任务所有检查项;一旦加入历史与工作区上下文约束,通过率骤降至 28.4% 至 40.0%。 这表明忽略上下文要求的评测会高估研究 Agent 的真实交付能力。
LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。
针对医疗大语言模型基准分数难以追溯临床证据的问题,研究团队发布了 Med Evidence Bench(MEB)。该基准包含 1,536 条医师构建题目,涵盖指南知识、标准化及真实临床场景。
针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。
PhyRubric提出基于评分准则的诊断框架评估T2V模型物理常识。该框架将描述拆解为语义与物理条目,生成34个类别基准并微调3788条数据的开源PhyRubric-Judge。评测显示该模型与人类判断相关性优于开源基线,媲美Gemini 4 Argon。
AgentScript-Eval 评估 5 个模型生成 Salesforce AgentScript 代码,最佳模型 pass@3 仅为 25.0%,从零编写任务得分为 0。
基准测试 ICLayout-Bench 发布了 LLM 智能体在定制电路布局设计中的表现,结果显示 22 种配置的平均布局得分在 4.22 到 80.26 分之间。 该基准包含 165 个任务,覆盖 13 种工艺设计套件(PDK)和 3 nm 到 180 nm 的技术节点,采用开源和商业 EDA 流程。 更高的推理努力并未持续提高平均分,且相似得分的配置在模型成本上差异显著。
研究者提出基于知识空间理论(KST)的基准测试方法,评估大语言模型(LLM)在数学领域的下一步推荐准确性。 测试分析了六个模型在 2400 个响应中的表现,仅在描述下准确率为 61.3%,提供完整知识空间时达 98.2%。 该基准支持模型与提示词组合的对比,但不直接确立学习效益或 LLM 的必要性。
arXiv 发布 ExpertCrowd-SWE 基准,包含 100 个由资深工程师编写的多文件软件任务,覆盖 87 个开源项目和 11 种语言,用于评测自主编码智能体在大型陌生代码库中的表现。
研究团队发布TrustMod-SM基准,包含约29000个实例,从五个维度评估LLM在社交媒体内容审核中的可信度。 该基准评测了16个开源权重模型(参数规模0.5B-284B)及一个闭源前沿模型,发现检测准确率较高往往伴随更大的人口统计差异。 结果显示模型规模扩大未能统一解决这些问题,没有单一模型在全部五个维度上均表现优异。
三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。
研究表明,基于 rPPG 的深度伪造检测器实际上学习的是高频视频源信号而非真实生理脉搏。在 Celeb-DF++ 上,简单色度轨迹的 AUC 达 0.998,远超专用 rPPG 提取器的 0.87。该信号集中在 0.7 至 4 Hz 以上频段,且能区分不同视频源而非篡改痕迹。
针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。
MMDM 是包含 5,448 道题目、涵盖 16 个任务类别的大规模多任务决策基准。它支持单选、多选及软标签,选项空间 2 至 1,024,输入最长 64,817 tokens。 评估 28 个决策模型发现,多数模型在普通知识上表现良好,但在选项逻辑与约束规划上表现较差。 MMDM 为联合推理、约束感知选择及完整多选恢复等决策模型关键方向提供了测试平台。
系统评估表明,Transformer 组合泛化性能受组合等价和模块覆盖率强烈影响。直接模型主要利用组合等价获得高分,消除等价后性能显著下降。 模块覆盖率偏移会导致直接模型和分步模型性能单调下降。基准中存在的组合等价可能导致对直接模型泛化能力的显著高估。 以 LiveCodeBench 为例,展示了组合等价对预训练模型 Llama3-8B 在代码输出预测任务中泛化表现的影响。
DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。
研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。
SpreadsheetBench 2 发布,这是一个包含 321 个任务、由领域专家验证的电子表格智能体基准测试。该基准涵盖生成、调试和可视化三大类任务,基于真实商业数据构建。
LibEvoBench 发布,旨在评估 LLM 处理多版本 Python 库 API 演进的能力,并引入 SEUS 指标。结果显示 SOTA 模型具有“版本盲点”,在演进 API 上性能下降,仅指定版本无效,但相关文档能显著提升准确率。该发现揭示了现有训练范式的系统性局限,推动时间定位知识在代码生成中的应用。
PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。
CELEUS 框架利用 E-process 构建具有任何时刻有效性的置信区间,解决现有 LLM 评估方法在动态停止规则下覆盖率失效问题。实验显示,该方法比基线算法少用 54%-62% 的评估样本即可达到目标精度。该框架通过无偏信号证明支持统计上稳健的评估实践。