MM-ReportBench:多模态报告生成的综合基准测试
MM-ReportBench发布覆盖386个任务的评测基准,针对185张真实表格。 测试显示最优模型总分仅68.9,38.5%的报告存在数字幻觉。该双评审框架证实单评审会导致分数虚高8-12分。
MM-ReportBench发布覆盖386个任务的评测基准,针对185张真实表格。 测试显示最优模型总分仅68.9,38.5%的报告存在数字幻觉。该双评审框架证实单评审会导致分数虚高8-12分。
研究者推出 MInfoVisQA 基准,包含 24 种语言、8,960 个问答配置及 25 个多模态大语言模型评估数据。 该基准通过分离数值结构与文本生成并行视觉问答对,发现模型在跨语言场景下表现存在显著差异。 研究结果指出,平均准确率掩盖了鲁棒性差距,凸显跨语言敏感度指标在模型评估中的必要性。
Boltz-1 的主干模块中二级结构与序列化学特征均具线性可解码性,但扩散模块中序列化学特征线性可访问性显著降低。 研究通过线性探针与因果干预发现,螺旋与无规卷曲方向可剂量依赖地改变预测结构,但β-折叠方向未产生可测量的折叠含量增加。 线性可解码性在测试位点并未暗示因果影响。
解释驱动的反事实测试(EDCT)协议揭示视觉语言模型存在显著忠实度差距,模型常产生与验证过的视觉变化不一致的回应。该协议通过提取解释中引用的视觉概念并施加最小编辑来测试一致性,EDCT-Bench 涵盖 OK-VQA、DriveLM 和 3DSRBench 三个领域。 微调研究表明 EDCT 生成的反事实实例提供高影响力训练信号,论文已被 WACV 2027 接收。
纯拒绝 SFT 导致过度拒绝,而混合 SFT 使 5 个阿拉伯语模型在有害拒绝率 H 达 90%-93% 时,良性拒绝率 B 维持在 14%-23%。 DPO 与推理护栏效果因模型而异,标注员一致性 89.0%(kappa=0.78),Qwen3Guard 与 Aya Expanse 32B 准确率分别为 88.7% 和 91.0%。
研究发现,ImageNet中天然存在的统计信号能作为后门类似触发器,直接且可预测地改变视觉模型预测。这些统计对抗特征比通用损坏更具针对性,且能跨不同模型架构迁移,表明部分漏洞由数据集结构和分布驱动。
该框架基于时空凸集图(ST-GCSs)实现连续时空规划与多机器人协调,通过精确凸分解(ECD)处理动态障碍。 引入最佳优先求解器及窗口协调策略,大规模模拟在 1 分钟内协调多达 100 台机器人,展现了实际应用性。
SKYPART作为轻量级模块,在SUES-200等基准上实现单次检索无重排的SOTA性能,其26.95M参数量为对比中表现最佳的最小模型。 该方法通过可学习原型、海拔条件调制及图注意力读出机制,使模型在十种WeatherPrompt腐败条件下精度优势进一步增加。 论文已被Neurips 2026接收,代码已开源,为低空经济中GNSS失效场景下的无人机自主定位提供了可靠替代方案。
研究揭示视觉语言模型(VLMs)在多行手写数学 OCR 中存在过度修正失败模式,提出 PINK 指标以 LLM 评分并惩罚此类错误。 对 FERMAT 数据集上 15 个 VLMs 评估显示排名反转,GPT-4o 因激进修正受重罚,Gemini 2.5 Flash 转录最忠实。 PINK 与人类判断一致性达 55.0%,优于 BLEU 的 39.5%,为教育评估提供更可靠框架。
summary_zh: TAR框架引入时间锚点(T-anchor)机制,通过渐进式精炼链式推理(CoT)并强制中间思考对齐视觉证据,显著提升推理忠实度与最终预测准确性。
QUTCC提出一种基于U-Net架构的分位数回归方法,实现非线性、空间自适应的保形校准,提供像素边际覆盖保证。 该方法在去噪、加速磁共振成像及定量相位显微成像任务中,于相同覆盖率下生成比先前保形方法更紧的不确定性区间,并预测条件概率密度。 高不确定性区域有助于定位模型预测中的幻觉现象。
研究提出 Dandelion,一种基于球面谐波域层级池化的球形神经网络 PDE 求解器,通过大圆传输特征避免笛卡尔卷积畸变。 该架构在包含修正 Galewsky 喷流、球形 Riemann 激波等 6 类数据集的基准测试中,除一项外均取得最优性能,预测物理一致性最高。
PhysAlign 是一个评估多模态模型在物理图解中是否正确关联视觉信息与物理角色的基准,包含 3,341 个人工验证探针和 986 道物理问题。 基准通过局部探针和受控变体分离视觉识别与角色分配,引入包括 CAcc、GAcc 和 JAcc 在内的五种互补评估指标。
研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。
EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。
研究发现随机未训练神经网络在早期视觉皮层表征相似度上不逊于训练网络,挑战了学习提升脑对齐的假设。 通过追踪四种学习规则的训练过程,发现单次训练即导致 V1 对齐降低 25-90%,其中反向传播(BP)影响最严重(delta r = -0.080),而预测编码(PC)和 STDP 保留更多。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
DiffATS 框架直接在正交 Procrustes 对齐的张量基元上训练扩散模型,实现 3.9 至 210 倍的数据压缩。 该方法无需预训练压缩自编码器,通过 Tucker 分解构建数据依赖型基元,并在图像、视频及 PDE 求解上实现强生成性能。
ChemEAGLE 多智能体系统从 424 张化学图形中构建可验证数据库,在精确反应提取任务中 F1 分数达 82.2%。 该系统通过校准置信度将人工审查量限制在 35% 的反应上(准确率 96.6%),并生成了含 60,103 条记录的光化学数据库,用于训练条件排序和产物预测模型。
研究揭示视觉语言模型存在“场景状态安全漏洞”,提出SceneSafetyBench基准与S3TA攻击方法。在8个VLM测试中,场景状态输入导致45.6%至72.3%的有害协助成功率。 S3TA在7个MM-SafetyBench类别上平均攻击成功率为71.2%,比最强基线高6.1个百分点。文本过滤和视觉审查防护有限,需加强场景推理层安全防护。
研究发现四个 LLaVA-1.5-7B 偏好优化检查点在降低幻觉率的同时降低了物体覆盖率。 通过基础模型早停可复现 58% 至 86% 的 CHAIRi 收益,且未带来物体 F1 显著增益。 提出的无训练恢复方法使三个检查点召回率接近基础模型,同时保持较低的幻觉率。
Spool 是一款免训练框架,通过缓存帧状态变换实现混合视觉语言模型的精准移除过期帧。 在五个开源模型和四项视频推理基准测试中,Spool 将 p95 首 token 延迟降低 6.6 倍,准确率平均提升 2.3 个百分点。
ID-MAE 提出多模态掩码扩散自编码器,在 DIVERT 数据集上将损伤检测的配对 AUC 从 0.590 提升至 0.706。 DIVERT 数据集包含 103 小时驾驶数据和 10 种损伤诱导,涵盖认知、视觉和情感状态,记录了眼动、车辆状态及场景视频。 该模型还增强了轨迹和眼动预测能力,代码和数据将在论文被接收后开放。
研究提出结合动态活动与图像特征临时关联的工作记忆模型,单一模型通过显式提示灵活完成包括样本记忆在内的5项任务。 测试显示延迟对样本记忆影响较小,但干扰图像增加会提高误报率;随着问题数量增加,样本记忆加分类任务的正确率下降。模型在每种任务的40次简短试验中保持稳定表现。
研究者对比了 8 种 LoRA 方法在 200 种语言及 9000 多种评估设置下的表现,发现小尺度搜索无法可靠预测全量排名。 LoRA 在翻译数据上稳定提升模型拟合度,但削弱阅读理解能力,且对低资源语言获益最大。因此,LoRA 应被视为针对性工具而非通用多语言增强手段。
研究提出以智能体为中心的 VLA 世界模型 AgentWorld,通过离散智能体 token 同时完成推理与轨迹规划,克服像素级生成的性能瓶颈。 该模型将每个 token 动态关联到周边智能体及其状态(语义、3D 几何、运动等),并经由显式几何 grounding、监督微调和面向智能体的强化学习进行训练。
提出基于事件相机的动态唇部区域估计算法,利用双通道连续时间循环网络预测唇部密集热图。该模型在4个未见说话人上达到69.5%准确率,目标切换仅2.1次/秒,优于卷积基线。 在真实传感器上,仅用模拟事件训练的模型在唇部任务达58.0%准确率,目标切换次数不足CNN基线的一半。
ForceBody 成为首个将真实力监督引入参数化人体表征的数据集,涵盖140名受试者的10,386个动作试验。 数据集包含SKEL动作模型、地面反作用力及970万帧逆动力学关节扭矩标签,并通过蒙特卡洛采样提供逐帧逐关节的扭矩不确定性注解。 使用逐样本不确定性加权微调Transformer可将关节扭矩估计的MAE降低5%,该成果已被NeurIPS 2026数据集赛道接收。
研究显示,多模态大语言模型在运动学图表评分中可能缺乏图形支持而错误给分。测试发现严重扭曲的速度-时间图仍获全分,而同配置下其他答案被大幅扣分。由于缺乏坐标约定,建议教师审查全分回答后再定稿。
在线视觉语言模型常因图像缩放或拒绝导致小物体细节丢失,测试显示默认设置下可读最小文本像素阈值显著增大。 将照片分九块可提升 Claude 和 Gemini 准确率 11.1 至 14.5 个百分点,GPT-6.1 Sol 从 50.7% 升至 83.7%。 Gemini 在细节缺失时自信错答率达 43% 至 48%,研究据此发布智能体放大决策规则。
利用 BertsWin 模型和 PhysLoss 目标函数,从常规 CBCT 中提取亚视觉软组织病理信号,检测关节滑膜积液(ROC AUC = 0.793)。 该框架在 212 例配对数据上验证,通过解剖学引导裁剪消除 81% 背景骨性变异,优于标准 L2 损失基线。 研究建立了将低对比度常规扫描转化为隐性软组织疾病机会性筛查工具的通用范式。
分层扩散 Transformer(HiT)在 ImageNet 256x256 上取得 1.48 FID,使用约 40% 累积训练 FLOPs 达到 JiT 生成质量。HiT 通过动态分组 token 学习视觉层级结构,在文本到图像生成中超过 UniLiP 平均分,且去噪器参数减少约 6 倍,前向 FLOPs 减少约 3 倍。
FVScore 提出神经符号框架,通过编译视频命题和符号评估实现规范驱动的视频生成评估,显著提升与人类判断的一致性。 框架利用感知工具 grounding 命题,采用受线性时态逻辑启发的软时序算子评估置信度,并应用显著性感知校准保留感知显著违规。 现有评估器难以对齐人类判断且无法追踪时序违规,FVScore 在公开和复杂多事件基准测试中表现优于整体式和基于智能体的评估器。
LoopZip 提出了一种无训练视觉 Token 压缩算法,解决循环视觉语言模型中长序列计算和内存开销问题。 在 LoopVL-1B 上,该算法在 50% 修剪比下保留 97.16% 的原始性能,在 87.5% 修剪比下超越最强基线 5.36%。
研究团队提出 MentalGrid 基准及 SpatialWalker 模型,在空间模拟任务中比基座模型平均提升 33.8%,性能超越 Gemini-3-Flash。 该模型利用 16k 专用空间推理样本进行三阶段课程学习,在领域外基准上保持 4.9% 的平均增益。
团队提出 Social Signal Bench(47小时)及证据加权 F1(EW-F1)指标,支持视频共现社交信号评测。 基准含 Video(25小时)与 Audio(22小时)子集;基于 7B 开源模型在视频任务上优于通用前沿模型,音频性能持平。
该研究利用免费的 Sentinel-2 卫星图像,通过锚定残差流模型生成了 0.5 米分辨率的冠层高度模型,实现了 20 倍跨模态超分辨率。 模型在包含 69 个生态区的 19.7 万个样本上训练,确定性模型 Anchor 的 MAE 为 2.83 米,而 AR-flow 模型将切片 Wasserstein 距离从 1.13 降至 0.208。
针对视频编辑中“运动坍缩”问题,研究者提出一种结合RGB帧差流的运动感知奖励模型。 在VE-Bench上,该模型将对运动抑制候选项的选择率降至0%,与人类质量评分的Spearman相关系数达0.57,并能检测未见抑制变体。 研究支持在视频编辑奖励中显式建模运动,以平衡时序一致性与运动保真度。
研究发现 On-Policy Distillation 在低投毒率下难触发视觉后门,但超过临界阈值后攻击成功率迅速接近 100%。传播依赖教师模型异常概率质量的持续积累,而非显式恶意响应,并提出了零显式触发注入的新触发器设计。这些结果揭示了 OPD 中被忽视的后门传播机制及潜在安全风险。
提出基于 nnU-Net 的自配置框架,复用分割模型表征进行 3D 医学影像分类。FLARE 2026 Task 2 官方评估中该框架总体排名第一,在全部四个测试任务中取得最高 DSC、NSD 和 AUROC,且推理符合单病例 60 秒及 4GB 显存限制。