跳到正文
11月10日周二
  1. arXiv · AI48

    LAION-BVD:包含1350万小时视频的开源多模态预训练数据集

    论文发布 LAION-BVD 开源视频数据集,包含8000万条视频,总时长达1350万小时,用于视频、音频及图像的多模态预训练。 数据集通过 CommonCrawl 爬取,利用内容感知场景检测提取片段并生成合成视频与音频字幕。 研究人员将开源该数据集,以大规模扩展多模态视频的公开访问范围。

  2. arXiv · AI34

    MGN-AIR:基于像素级多模态引导的All-in-One图像修复框架

    论文提出MGN-AIR像素级修复框架,用于All-in-One图像修复。 该框架估计像素级视觉提示,结合文本与视觉提示提供全局和局部退化线索,实现精细控制。 实验显示其在去噪、去雨、去模糊、去雾、去雪和低光增强等基准测试中,表现显著优于现有方法。该工作已被ACMMM 2026接收。

  3. arXiv · AI37

    Spatial-IQ:基于层级能力测试解构空间智能

    研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。

  4. arXiv · AI24

    FINO:利用元数据无标签适配视觉基础模型至科学领域

    提出无标签方法 FINO,通过自监督目标结合元数据引导,将通用视觉基础模型适配至子细胞荧光显微镜、地球观测、野生动物监测及医学影像等专门科学领域。 FINO 处理离散与连续元数据,表征保留信息因子并抑制虚假因子。在特定任务上,FINO 性能优于匹配的自监督及全监督适配基线。 代码已公开,且在无任务标签下,FINO 在三个领域得分高于特定专业系统,在第四个领域达到同等表现。

  5. arXiv · AI35

    PitchBench 评测显示音频语言模型音高感知能力不可靠

    PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。

  6. arXiv · AI32

    NeurIPS 2026论文提出基于MLLM与VAE的条件扩散模型,优化主体驱动图像生成

    该研究针对现有方法在主体驱动生成中存在的跨模态推理局限及复制粘贴伪影问题,提出条件化扩散模型框架。模型联合编码文本与参考图像,并引入VAE身份条件及双层聚合模块,通过多阶段去噪平衡语义与细节。 实验显示该方法在人工偏好上取得优越性能,有效协调多模态理解与身份保持。

  7. arXiv · AI23

    OASIS: 基于SE(3)轨迹预测的观测-动作空间对齐机器人操作

    OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。

  8. arXiv · AI21

    Good Token Hunting: 视觉几何 Transformer 的 Token 选择指南

    Good Token Hunting 提出通过限制全局注意力中键值(key/value)交互的 Token 数量,为视觉几何 Transformer 加速超过 85%。 该方案采用两级筛选框架,在帧间使用基于多样性的策略保留关键帧,在帧内通过熵引导的层感知稀疏化进一步剔除冗余。 实验表明该方法在 500 张图像场景下保持甚至提升了基线性能,为未来视觉几何应用提供了高效的 Token 选择策略。

  9. arXiv · AI21

    神经符号视角下的弱监督分割:基于可微模糊逻辑的SAM微调方法

    该研究提出一种神经符号方法,将弱标注与领域先验统一为连续逻辑约束,用于在弱监督下微调Segment Anything Model(SAM)。 微调后的SAM生成更高质量的伪标签,并训练第二阶段的无提示分割模型。实验在Pascal VOC 2012和REFUGE2数据集上显示,该方法达到SOTA性能,常超过密集监督基线。 论文已被WACV2027接收。

  10. arXiv · AI23

    PPG2ECG:基于生理引导潜空间修正流的PPG到ECG生成

    PPG2ECG提出生理引导潜空间修正流框架,利用电动力学模拟器构建潜空间,显著提升MC-MED数据集上的ECG生成与心血管疾病分类表现。 该框架通过Physiology-Aware AutoEncoder学习潜空间,并在生成传输中强制ECG侧形态与正向血流动力学一致性,确保生成信号的生理合理性。

  11. arXiv · AI26

    AV-Phys Bench 揭示联合音视频生成模型缺乏物理理解能力

    AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。

  12. arXiv · ML31

    多模态预测何时具备生物学支撑?DECAT 诊断评估框架

    研究团队提出模型无关的后验评估框架 DECAT,用于区分多模态模型中的共享生物学信号、虚假相关或单模态特异性。 DECAT 通过 5 个无参考指标对 2,500 多个表示和 8,979 名 TCGA 患者进行诊断,无需知晓混杂因子即可检测 AUROC 不可见的干扰。 该框架发表于 NeurIPS 2026 评测与数据集赛道,揭示了随着信号增强,纠缠模型会产生更高置信度的错误诊断。

  13. arXiv · ML25

    AIMS-Fold:利用结构蛋白质组学指导共折叠模型预测蛋白质复合体

    研究者推出推理时引导层 AIMS-Fold,基于 Boltz-2 且无需重训,支持接受排斥约束。在 28 个 Boltz-2 预测失败的复杂体中,仅用 5 个生成模型即可在 64% 案例中恢复正确构象。跨 100 个模型和 20 个种子测试中,无引导的 Boltz-2 准确率为 14%,AIMS-Fold 达到 86%。这表明利用正负结构信号可显著提升理性降解剂设计效率。

  14. arXiv · AI21

    探索卷积神经网络在同时应用图像增强下的专业化与敏感性

    提出将治疗-对照范式应用于可解释AI研究,通过方差分解和Sobol指数分析增强对模型内部推理的影响。 评估了AlexNet、VGG11、ResNet18等CNN,结合ViT-b-16和Swin-t验证,采用5至7种同时应用变换的增强集。 该方法有助于区分模型特异性与增强自交互,并支持激活引导掩码及单类敏感性分析。

  15. arXiv · ML38

    DPRM:用于离散扩散模型的可插拔 Doob h 变换诱导 Token 排序模块

    DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。

  16. arXiv · ML22

    面向多源领域泛化的噪声标签睡眠分期方法

    针对医疗数据中领域偏移与噪声标注共存的挑战,研究者提出了首个噪声标签多源领域泛化睡眠分期基准NL-DGSS。 方法FF-TRUST通过联合时频早期学习正则化(JTF-ELR)利用时序和频谱一致性,在五个公开数据集上实现了噪声环境下的SOTA性能。 该工作已被MLESP 2026 Workshop及IEEE BIBM 2026会议接收。

  17. arXiv · ML28

    基于持续训练的天气预报神经缩放定律研究

    该研究采用 Swin Transformer 架构和持续训练策略,验证了科学机器学习领域中神经缩放定律的可预测性。模型在简单设定下超越标准余弦学习率调度,并可通过冷却阶段优化多步预测和频谱损失。研究构建了 IsoFLOP 曲线,识别出计算最优训练模式,并开源了代码。

  18. arXiv · ML31

    CELM:首个临床 EEG-to-Language 基础模型

    CELM 是首个能总结长时程、变长 EEG 记录并端到端生成临床报告的基础模型。 该模型整合预训练 EEG 基础模型与语言模型,使用包含 9,922 份报告和约 11,000 小时 EEG 数据的临床数据集训练。 实验及临床专家评估显示,CELM 在临床一致性、诊断可靠性和专家对齐方面优于现有方法。

  19. arXiv · ML34

    基于流图的扩散模型测试时缩放

    提出 FMTT 算法,通过利用流图与速度场的关系,在测试时优化扩散模型的奖励梯度,避免常规方法中因奖励仅在数据分布末端定义而导致的不适定问题。 FMTT 可执行基于重要性加权的精确采样,或识别奖励倾斜分布局部极大值的原则性搜索,相比其他前瞻技术更有效,并能处理复杂奖励函数(如结合视觉语言模型实现新式图像编辑)。

  20. arXiv · ML35

    稀疏自编码器神经算子:SAE-FNO 如何建模结构化概念表达

    该研究提出稀疏自编码器神经算子(SAE-NOs)及其实例化方法 SAE-FNO,旨在通过傅里叶域积分算子对概念进行功能性参数化。 SAE-FNO 利用联合稀疏性,结合概念稀疏性与领域稀疏性,在视觉数据中展现出对多尺度空间结构的高效建模能力,并支持分辨率泛化。 此方法将 SAE 从表示概念存在性扩展至建模结构化概念表达,且已获 NeurIPS 2026 接收。

  21. arXiv · ML20

    非聚合物晶体结构预测中几何置换不变损失函数的必要性

    针对非聚合物晶体结构预测难题,研究提出一种兼顾几何分子特性与置换不变性的损失函数。 该方法在 COD-Cluster17 基准测试中表现优于包括 flow matching 在内的现有技术,且简单回归模型即可超越先前方法。 相关代码已开源,研究发表于 2026 年 5 月的《机器学习事务》(Transactions on Machine Learning Research)。

  22. arXiv · ML34

    Hierarchical Conformal Classification:将类别层级结构融入共形预测

    Hierarchical Conformal Classification (HCC) 是一种扩展共形预测的框架,它将类别层级结构融入预测集的语义与结构中,以保持覆盖保证。 该研究将 HCC 公式化为受限优化问题,证明较小的结构化候选解子集足以确保覆盖并维持最优性。在音频、图像和文本数据上的实证评估显示,标注者显著偏好层级式预测集而非扁平式预测集。