LAION-BVD:包含1350万小时视频的开源多模态预训练数据集
论文发布 LAION-BVD 开源视频数据集,包含8000万条视频,总时长达1350万小时,用于视频、音频及图像的多模态预训练。 数据集通过 CommonCrawl 爬取,利用内容感知场景检测提取片段并生成合成视频与音频字幕。 研究人员将开源该数据集,以大规模扩展多模态视频的公开访问范围。
论文发布 LAION-BVD 开源视频数据集,包含8000万条视频,总时长达1350万小时,用于视频、音频及图像的多模态预训练。 数据集通过 CommonCrawl 爬取,利用内容感知场景检测提取片段并生成合成视频与音频字幕。 研究人员将开源该数据集,以大规模扩展多模态视频的公开访问范围。
论文提出MGN-AIR像素级修复框架,用于All-in-One图像修复。 该框架估计像素级视觉提示,结合文本与视觉提示提供全局和局部退化线索,实现精细控制。 实验显示其在去噪、去雨、去模糊、去雾、去雪和低光增强等基准测试中,表现显著优于现有方法。该工作已被ACMMM 2026接收。
summary_zh: PGSR框架通过在VAE压缩前保留低分辨率像素证据,解决了扩散Transformer在图像超分辨率中因潜空间压缩瓶颈导致的保真度缺失问题。
研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。
PRA框架通过生成低维中间状态并映射至像素补丁,联合解决了高维单步误差大和训练-推理间隙问题。 在ImageNet-1K 256×256生成任务中,PRA-S(135M参数)FID达2.58,优于此前十亿规模模型的3.60;PRA-L(511M参数)FID降至1.94,创下像素空间AR模型新SOTA。
基于 44 个独立训练的视觉与语言编码器,位移向量在单一正交对齐下显著保留,验证了柏拉图表征假设。 研究发现语义组件在各模型间呈线性对齐,而能力组件存在差异;微调会降低位移相似度。提出的 ShadowCLIP 通过单次前向传播导入能力,以更低计算量超越微调基线。
提出无标签方法 FINO,通过自监督目标结合元数据引导,将通用视觉基础模型适配至子细胞荧光显微镜、地球观测、野生动物监测及医学影像等专门科学领域。 FINO 处理离散与连续元数据,表征保留信息因子并抑制虚假因子。在特定任务上,FINO 性能优于匹配的自监督及全监督适配基线。 代码已公开,且在无任务标签下,FINO 在三个领域得分高于特定专业系统,在第四个领域达到同等表现。
研究提出 Medical Structured Multimodal Memory (MSM-Mem) 框架,使医疗 AI 智能体通过积累临床经验实现推理能力的渐进式进化。
PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。
该研究针对现有方法在主体驱动生成中存在的跨模态推理局限及复制粘贴伪影问题,提出条件化扩散模型框架。模型联合编码文本与参考图像,并引入VAE身份条件及双层聚合模块,通过多阶段去噪平衡语义与细节。 实验显示该方法在人工偏好上取得优越性能,有效协调多模态理解与身份保持。
研究提出Co-RL框架,通过多智能体协同强化学习实现无监督推理,无需真值标签。 在7个基准测试上平均提升3.0-7.9%,4个多模态基准提升1.6-4.4%。 该方法比先前SOTA方法CoMAS高4.0%,比MM-UPT高2.0%,且代码已开源。
OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。
Good Token Hunting 提出通过限制全局注意力中键值(key/value)交互的 Token 数量,为视觉几何 Transformer 加速超过 85%。 该方案采用两级筛选框架,在帧间使用基于多样性的策略保留关键帧,在帧内通过熵引导的层感知稀疏化进一步剔除冗余。 实验表明该方法在 500 张图像场景下保持甚至提升了基线性能,为未来视觉几何应用提供了高效的 Token 选择策略。
研究者提出模型拼接框架 StitchVM,将冻结扩散模型前缀与预训练奖励模型后缀通过兼容特征接口连接,通过闭式特征拟合和轻量蒸馏使模型能直接从不干净潜变量估计价值函数,无需近似或额外去噪。
提出基于时不变速度场(自主流)的流匹配实例化,在目标分布支持于低维流形时可精确映射分布。该单步生成映射在自主速度场方向恒定,满足守恒方程,为直接学习映射提供依据。
Signed Rectified Flow (Signed RF) 将 Rectified Flow 推广至对数似然差异为正的符号测度,从而生成有效的分布并排斥负成分占主导的区域,将负信息与排除约束纳入生成建模框架。
该研究提出一种神经符号方法,将弱标注与领域先验统一为连续逻辑约束,用于在弱监督下微调Segment Anything Model(SAM)。 微调后的SAM生成更高质量的伪标签,并训练第二阶段的无提示分割模型。实验在Pascal VOC 2012和REFUGE2数据集上显示,该方法达到SOTA性能,常超过密集监督基线。 论文已被WACV2027接收。
研究提出 CRePE,通过弯曲光线几何位置编码解决广角及鱼眼相机下的视频生成问题,该模型已获 NeurIPS 2026 接收。 CRePE 基于冻结视频 DiT 添加几何注意力适配器,将单体几何基础模型伪监督转化为场景距离信息,支持零样本迁移至真实鱼眼视频。
PPG2ECG提出生理引导潜空间修正流框架,利用电动力学模拟器构建潜空间,显著提升MC-MED数据集上的ECG生成与心血管疾病分类表现。 该框架通过Physiology-Aware AutoEncoder学习潜空间,并在生成传输中强制ECG侧形态与正向血流动力学一致性,确保生成信号的生理合理性。
提出代数一致的潜在动作模型 ALAM,通过重建、组合与逆一致性约束,利用无动作视频为视觉-语言-动作模型提供结构监督。 下游学习中冻结预训练编码器,将其潜在转移序列作为辅助生成目标,与机器人动作在联合 flow-matching 目标下共同生成。
AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。
LINE 提出了一种无需训练的迭代方法,用于视觉模型中开放词汇的概念标签化。 该方法在 ImageNet 上 AUC 提升最高达 0.15,在 Places365 上提升 0.05。 LINE 被 NeurIPS 2026 接收,并能发现预定义词表中 25% 的缺失概念。
研究团队提出模型无关的后验评估框架 DECAT,用于区分多模态模型中的共享生物学信号、虚假相关或单模态特异性。 DECAT 通过 5 个无参考指标对 2,500 多个表示和 8,979 名 TCGA 患者进行诊断,无需知晓混杂因子即可检测 AUROC 不可见的干扰。 该框架发表于 NeurIPS 2026 评测与数据集赛道,揭示了随着信号增强,纠缠模型会产生更高置信度的错误诊断。
研究者推出推理时引导层 AIMS-Fold,基于 Boltz-2 且无需重训,支持接受排斥约束。在 28 个 Boltz-2 预测失败的复杂体中,仅用 5 个生成模型即可在 64% 案例中恢复正确构象。跨 100 个模型和 20 个种子测试中,无引导的 Boltz-2 准确率为 14%,AIMS-Fold 达到 86%。这表明利用正负结构信号可显著提升理性降解剂设计效率。
基于 DINOv3 嵌入配合 t-SNE 和 HDBSCAN 的无监督流程,在无先验物种数假设下物种级 V-measure 达 0.943,仅 1.14% 图像被拒为离群。
研究提出TWNM框架,通过FOA模拟和空间特征融合提升音频语言模型的空间理解能力。 在自建基准测试中,TWNM整体准确率达70.8%,空间任务66.4%,混合场景QA 79.76%。 该方法实现了可控且可审计的空间音频语言推理,并在NeurIPS 2026发表。
一项新研究提出通过任务算术,将在源域学习的自解释 Vision Transformer (ViT) 的视觉解释能力,迁移至目标域仅预测、零样本 VLM 基 ViT 模型,且无需目标侧解释监督。
MSD 框架通过解耦文本与视觉 token 处理并采用两阶段训练,在不改变输出分布的前提下加速多模态大语言模型推理。该方法将 LLaVA-1.5-7B 的推理速度提升 2.29 倍,LLaVA-1.5-13B 提升 2.46 倍。
提出将治疗-对照范式应用于可解释AI研究,通过方差分解和Sobol指数分析增强对模型内部推理的影响。 评估了AlexNet、VGG11、ResNet18等CNN,结合ViT-b-16和Swin-t验证,采用5至7种同时应用变换的增强集。 该方法有助于区分模型特异性与增强自交互,并支持激活引导掩码及单类敏感性分析。
DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。
针对医疗数据中领域偏移与噪声标注共存的挑战,研究者提出了首个噪声标签多源领域泛化睡眠分期基准NL-DGSS。 方法FF-TRUST通过联合时频早期学习正则化(JTF-ELR)利用时序和频谱一致性,在五个公开数据集上实现了噪声环境下的SOTA性能。 该工作已被MLESP 2026 Workshop及IEEE BIBM 2026会议接收。
该研究采用 Swin Transformer 架构和持续训练策略,验证了科学机器学习领域中神经缩放定律的可预测性。模型在简单设定下超越标准余弦学习率调度,并可通过冷却阶段优化多步预测和频谱损失。研究构建了 IsoFLOP 曲线,识别出计算最优训练模式,并开源了代码。
CELM 是首个能总结长时程、变长 EEG 记录并端到端生成临床报告的基础模型。 该模型整合预训练 EEG 基础模型与语言模型,使用包含 9,922 份报告和约 11,000 小时 EEG 数据的临床数据集训练。 实验及临床专家评估显示,CELM 在临床一致性、诊断可靠性和专家对齐方面优于现有方法。
研究提出 Spectral Feedback 算法,通过稀疏傅里叶表示优化编辑位置选择,提升蛋白质扩散模型生成稳定蛋白质的比例。该算法在逆折叠任务中,比预训练模型稳定性提升 32.3 个百分点。模型无关设计使其适用于预训练、测试时对齐及微调扩散模型,无需修改底层生成过程。
提出 FMTT 算法,通过利用流图与速度场的关系,在测试时优化扩散模型的奖励梯度,避免常规方法中因奖励仅在数据分布末端定义而导致的不适定问题。 FMTT 可执行基于重要性加权的精确采样,或识别奖励倾斜分布局部极大值的原则性搜索,相比其他前瞻技术更有效,并能处理复杂奖励函数(如结合视觉语言模型实现新式图像编辑)。
研究人员推出名为 Science Edge Evaluation (SEE) 的多模态基准测试,评估 28 个模型后发现最佳准确率仅为 54.9%。测试显示通用模型平均表现优于科学专用模型,且工具使用虽将最高准确率提升至 56.1%,但无法确保模型在实验证据边界内进行可靠推理。
该研究提出稀疏自编码器神经算子(SAE-NOs)及其实例化方法 SAE-FNO,旨在通过傅里叶域积分算子对概念进行功能性参数化。 SAE-FNO 利用联合稀疏性,结合概念稀疏性与领域稀疏性,在视觉数据中展现出对多尺度空间结构的高效建模能力,并支持分辨率泛化。 此方法将 SAE 从表示概念存在性扩展至建模结构化概念表达,且已获 NeurIPS 2026 接收。
针对非聚合物晶体结构预测难题,研究提出一种兼顾几何分子特性与置换不变性的损失函数。 该方法在 COD-Cluster17 基准测试中表现优于包括 flow matching 在内的现有技术,且简单回归模型即可超越先前方法。 相关代码已开源,研究发表于 2026 年 5 月的《机器学习事务》(Transactions on Machine Learning Research)。
多模态大语言模型(MLLMs)在传统静态基准测试与动态现实应用间存在评估偏差,CEDI框架提出了一种评估者与考员模型及评分者三方交互的新方法。 该框架基于任务图构建,通过多轮对话策略(如澄清请求与对抗性探测)识别模型幻觉。
Hierarchical Conformal Classification (HCC) 是一种扩展共形预测的框架,它将类别层级结构融入预测集的语义与结构中,以保持覆盖保证。 该研究将 HCC 公式化为受限优化问题,证明较小的结构化候选解子集足以确保覆盖并维持最优性。在音频、图像和文本数据上的实证评估显示,标注者显著偏好层级式预测集而非扁平式预测集。