多模态概念瓶颈模型 MM-CBM:基于 CLIP 的可解释零样本视觉方法
研究人员提出多模态概念瓶颈模型 MM-CBM,将概念瓶颈层扩展至 CLIP 结构,在四个标准基准上平均准确率提升 23.28%。 该模型利用双概念瓶颈层对齐图像与文本嵌入,支持可解释的零样本分类和图像检索,已获 TMLR 2026 录用。
研究人员提出多模态概念瓶颈模型 MM-CBM,将概念瓶颈层扩展至 CLIP 结构,在四个标准基准上平均准确率提升 23.28%。 该模型利用双概念瓶颈层对齐图像与文本嵌入,支持可解释的零样本分类和图像检索,已获 TMLR 2026 录用。
介绍拓扑推理基准 CurveBench,Gemini 3.1 Pro 在 Easy 集准确率为 71.1%。 基准含 756 张手绘图,Qwen3-VL-8B 经 RL 训练后 Easy 集达 31.7%。 该论文已被 NeurIPS 2026 评估与数据集赛道接收。
HaloProbe 提出了一种贝叶斯框架,用于检测和缓解视觉语言模型(VLM)中的对象幻觉。该框架通过因子化外部描述统计和内部解码信号,估计 token 级别的幻觉概率。 实验表明,由 HaloProbe 引导的解码在减少幻觉方面比最先进的基于干预的方法更有效,同时保留了字幕效用和语言流畅性。
针对冻结的离散 Token VLM,DCDD 框架利用采样前的 Logit 分布条件化扩散解码器以提升图像保真度。在 ImageNet-1K 上训练 50K 步后,重建 FID 降低 74%,Janus-Pro 7B 生成 FID 降低 34%。 该方法证明性能提升源于对 Logit 分布的条件化而非扩散模型本身,且保持了 GenEval 等基准的语义对齐。
MamaDino通过融合DINOv3 ViT-S特征与可训练CNN编码器,在512x512分辨率下实现乳腺癌3年风险预测。 使用BilateralMixer聚合双侧信息,患者级AUC达0.736(分布内)和0.677(分布外),优于或持平Mirai,输入像素减少约13倍。 该模型证明了互补归纳偏置与显式对侧建模可在更低分辨率下达到Mirai级判别性能。
X-SiT 是首个提供基于可解释皮层特征、人类可理解预测的固有可解释神经网络。 它引入基于皮层原型进行病例推理的表面补丁解码器,用于分类表面补丁嵌入,在阿尔茨海默病和额颞叶痴呆检测中达到最先进性能,并揭示与已知疾病模式一致的原型。 该模型支持临床决策制定,并通过皮层表面渲染实现 3D 脑部解剖结构可视化与交互探索。 ```
提出PINR-ESI框架,利用物理信息自监督隐式神经表示实现脑电图扩展源成像,无需配对源标签。 该框架通过导场矩阵约束模型,将皮层电流密度建模为连续坐标条件场,并用经典逆估计提供空间约束。 在模拟及癫痫患者真实脑电图数据上评估,验证了框架在源定位上的可行性。
研究提出双部分 MLBNet 架构,通过多侧向编码器块和多头解码器分支实现心血管造影场景中导管、导丝、血管及背景像素的高概率多类分割。 模型在体模、合成模拟主动脉及动物模型数据上验证有效,能够高精度区分主要背景类与前向结构。
免训练系统 VOIM 通过累积软标签证据,实现了从 RGB-D 或单目 RGB 视频构建开放词汇 3D 实例地图。 该系统在 ScanNet++ 上达到最高 present-class mIoU,比最强基线高 10 分,单目视频性能也超越带深度传感器的 HOV-SG 和 ConceptGraphs。
研究提出 PURGE 框架,通过构建结构化数据集和分区感知遗忘,消除大型视觉语言模型(LVLMs)中由对象-背景虚假相关性导致的幻觉错误。 框架在 LLaVA-1.6-7B、Qwen3-VL-8B-Instruct 等模型上验证,在 CHAIR、POPE 等基准测试中显示能一致降低虚假相关性错误,同时保持或提升整体性能。
论文发布 LAION-BVD 开源视频数据集,包含8000万条视频,总时长达1350万小时,用于视频、音频及图像的多模态预训练。 数据集通过 CommonCrawl 爬取,利用内容感知场景检测提取片段并生成合成视频与音频字幕。 研究人员将开源该数据集,以大规模扩展多模态视频的公开访问范围。
论文提出MGN-AIR像素级修复框架,用于All-in-One图像修复。 该框架估计像素级视觉提示,结合文本与视觉提示提供全局和局部退化线索,实现精细控制。 实验显示其在去噪、去雨、去模糊、去雾、去雪和低光增强等基准测试中,表现显著优于现有方法。该工作已被ACMMM 2026接收。
summary_zh: PGSR框架通过在VAE压缩前保留低分辨率像素证据,解决了扩散Transformer在图像超分辨率中因潜空间压缩瓶颈导致的保真度缺失问题。
研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。
PRA框架通过生成低维中间状态并映射至像素补丁,联合解决了高维单步误差大和训练-推理间隙问题。 在ImageNet-1K 256×256生成任务中,PRA-S(135M参数)FID达2.58,优于此前十亿规模模型的3.60;PRA-L(511M参数)FID降至1.94,创下像素空间AR模型新SOTA。
基于 44 个独立训练的视觉与语言编码器,位移向量在单一正交对齐下显著保留,验证了柏拉图表征假设。 研究发现语义组件在各模型间呈线性对齐,而能力组件存在差异;微调会降低位移相似度。提出的 ShadowCLIP 通过单次前向传播导入能力,以更低计算量超越微调基线。
提出无标签方法 FINO,通过自监督目标结合元数据引导,将通用视觉基础模型适配至子细胞荧光显微镜、地球观测、野生动物监测及医学影像等专门科学领域。 FINO 处理离散与连续元数据,表征保留信息因子并抑制虚假因子。在特定任务上,FINO 性能优于匹配的自监督及全监督适配基线。 代码已公开,且在无任务标签下,FINO 在三个领域得分高于特定专业系统,在第四个领域达到同等表现。
研究提出 Medical Structured Multimodal Memory (MSM-Mem) 框架,使医疗 AI 智能体通过积累临床经验实现推理能力的渐进式进化。
PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。
该研究针对现有方法在主体驱动生成中存在的跨模态推理局限及复制粘贴伪影问题,提出条件化扩散模型框架。模型联合编码文本与参考图像,并引入VAE身份条件及双层聚合模块,通过多阶段去噪平衡语义与细节。 实验显示该方法在人工偏好上取得优越性能,有效协调多模态理解与身份保持。
研究提出Co-RL框架,通过多智能体协同强化学习实现无监督推理,无需真值标签。 在7个基准测试上平均提升3.0-7.9%,4个多模态基准提升1.6-4.4%。 该方法比先前SOTA方法CoMAS高4.0%,比MM-UPT高2.0%,且代码已开源。
OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。
Good Token Hunting 提出通过限制全局注意力中键值(key/value)交互的 Token 数量,为视觉几何 Transformer 加速超过 85%。 该方案采用两级筛选框架,在帧间使用基于多样性的策略保留关键帧,在帧内通过熵引导的层感知稀疏化进一步剔除冗余。 实验表明该方法在 500 张图像场景下保持甚至提升了基线性能,为未来视觉几何应用提供了高效的 Token 选择策略。
研究者提出模型拼接框架 StitchVM,将冻结扩散模型前缀与预训练奖励模型后缀通过兼容特征接口连接,通过闭式特征拟合和轻量蒸馏使模型能直接从不干净潜变量估计价值函数,无需近似或额外去噪。
提出基于时不变速度场(自主流)的流匹配实例化,在目标分布支持于低维流形时可精确映射分布。该单步生成映射在自主速度场方向恒定,满足守恒方程,为直接学习映射提供依据。
Signed Rectified Flow (Signed RF) 将 Rectified Flow 推广至对数似然差异为正的符号测度,从而生成有效的分布并排斥负成分占主导的区域,将负信息与排除约束纳入生成建模框架。
该研究提出一种神经符号方法,将弱标注与领域先验统一为连续逻辑约束,用于在弱监督下微调Segment Anything Model(SAM)。 微调后的SAM生成更高质量的伪标签,并训练第二阶段的无提示分割模型。实验在Pascal VOC 2012和REFUGE2数据集上显示,该方法达到SOTA性能,常超过密集监督基线。 论文已被WACV2027接收。
研究提出 CRePE,通过弯曲光线几何位置编码解决广角及鱼眼相机下的视频生成问题,该模型已获 NeurIPS 2026 接收。 CRePE 基于冻结视频 DiT 添加几何注意力适配器,将单体几何基础模型伪监督转化为场景距离信息,支持零样本迁移至真实鱼眼视频。
PPG2ECG提出生理引导潜空间修正流框架,利用电动力学模拟器构建潜空间,显著提升MC-MED数据集上的ECG生成与心血管疾病分类表现。 该框架通过Physiology-Aware AutoEncoder学习潜空间,并在生成传输中强制ECG侧形态与正向血流动力学一致性,确保生成信号的生理合理性。
提出代数一致的潜在动作模型 ALAM,通过重建、组合与逆一致性约束,利用无动作视频为视觉-语言-动作模型提供结构监督。 下游学习中冻结预训练编码器,将其潜在转移序列作为辅助生成目标,与机器人动作在联合 flow-matching 目标下共同生成。
AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。
LINE 提出了一种无需训练的迭代方法,用于视觉模型中开放词汇的概念标签化。 该方法在 ImageNet 上 AUC 提升最高达 0.15,在 Places365 上提升 0.05。 LINE 被 NeurIPS 2026 接收,并能发现预定义词表中 25% 的缺失概念。
研究团队提出模型无关的后验评估框架 DECAT,用于区分多模态模型中的共享生物学信号、虚假相关或单模态特异性。 DECAT 通过 5 个无参考指标对 2,500 多个表示和 8,979 名 TCGA 患者进行诊断,无需知晓混杂因子即可检测 AUROC 不可见的干扰。 该框架发表于 NeurIPS 2026 评测与数据集赛道,揭示了随着信号增强,纠缠模型会产生更高置信度的错误诊断。
研究者推出推理时引导层 AIMS-Fold,基于 Boltz-2 且无需重训,支持接受排斥约束。在 28 个 Boltz-2 预测失败的复杂体中,仅用 5 个生成模型即可在 64% 案例中恢复正确构象。跨 100 个模型和 20 个种子测试中,无引导的 Boltz-2 准确率为 14%,AIMS-Fold 达到 86%。这表明利用正负结构信号可显著提升理性降解剂设计效率。
基于 DINOv3 嵌入配合 t-SNE 和 HDBSCAN 的无监督流程,在无先验物种数假设下物种级 V-measure 达 0.943,仅 1.14% 图像被拒为离群。
研究提出TWNM框架,通过FOA模拟和空间特征融合提升音频语言模型的空间理解能力。 在自建基准测试中,TWNM整体准确率达70.8%,空间任务66.4%,混合场景QA 79.76%。 该方法实现了可控且可审计的空间音频语言推理,并在NeurIPS 2026发表。
一项新研究提出通过任务算术,将在源域学习的自解释 Vision Transformer (ViT) 的视觉解释能力,迁移至目标域仅预测、零样本 VLM 基 ViT 模型,且无需目标侧解释监督。
MSD 框架通过解耦文本与视觉 token 处理并采用两阶段训练,在不改变输出分布的前提下加速多模态大语言模型推理。该方法将 LLaVA-1.5-7B 的推理速度提升 2.29 倍,LLaVA-1.5-13B 提升 2.46 倍。
提出将治疗-对照范式应用于可解释AI研究,通过方差分解和Sobol指数分析增强对模型内部推理的影响。 评估了AlexNet、VGG11、ResNet18等CNN,结合ViT-b-16和Swin-t验证,采用5至7种同时应用变换的增强集。 该方法有助于区分模型特异性与增强自交互,并支持激活引导掩码及单类敏感性分析。
DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。