跳到正文
10月23日周五
  1. arXiv · AI38

    SpatialMem:对齐度量信息的长时序视频记忆用于语言接地与问答

    SpatialMem 将 RGB 视频转化为可查询的度量对齐 3D 记忆,无需特殊传感器。 在 VSI-Bench 288 个视频上 RGB 整体得分 37.5,房间尺寸预测达 41.4;OpenEQA 中证据帧检索优于均匀采样;索引成本为每场景 14 KB。 支持空间关系推理与语言引导检索,相关代码与记忆数据集已公开。

  2. arXiv · AI26

    MAVOS-DD 多语种音视频开放集深度伪造检测基准

    研究人员发布了首个大规模多语种音视频开放集深度伪造检测基准 MAVOS-DD。 该数据集包含约 350 小时八种语言的真实与伪造视频,其中 59% 为生成数据,且训练集仅包含部分生成模型与语种以构建开放集场景。 实验表明,当前最先进检测器在开放集设定下无法保持性能水平,数据与代码已公开供非商业使用。

  3. arXiv · ML20

    FL-Net 发布:整合数据协调与联合工作流的联邦临床研究框架

    FL-Net 推出支持 50 个并发客户端的联邦学习框架,通过模块化数据协调与容器化工作流,实现了跨研究的和谐数据与流程复用。 该框架在 dAIbetes 和 Microb-AI-ome 欧盟项目中开发,将覆盖 9 个国家的 10 家医院及超过 800,000 名患者。 FL-Net 为可互操作、可复现且保护隐私的多中心临床研究提供了实用基础。

  4. arXiv · ML21

    SAEParate:用于概念分离扩散模型遗忘的解耦稀疏表示

    该研究提出SAEParate方法,通过概念感知对比学习和交叉注意力引导的空间聚合,在扩散模型潜在空间中显式分离语义重叠概念,以实现针对特定概念的无参数遗忘。 在UnlearnCanvas基准上,该方法达到了最先进的性能,特别是在联合风格-对象遗忘这一具有挑战性且现有方法存在严重干扰的设置中表现突出。 该方法已被NeurIPS 2026接收。

  5. arXiv · AI27

    ManimAgent:用于视觉教育的自进化多模态智能体

    ManimAgent 是一款自进化多模态智能体,通过双通道情景记忆库在任务间传递反思经验,无需权重更新或人工种子。 记忆库包含存储成功范例的正向通道和存储失败模式的负向通道,由视觉语言模型对渲染关键帧进行评分后生成。 在固定探针评估中,随着记忆库规模增加,盲测 Pass@1 指标上升且所需反思轮数减少。

  6. arXiv · AI20

    MQAScore: 基于大型音频语言模型的细粒度文本-音乐对齐评估

    MQAScore 提出利用大型音频语言模型在 5 个维度验证原子音乐概念,以替代全局相似度评分。 该方法构建了基于 LLM 引导的概念替换验证标签,并提出了敏感性不变比(Sensitivity-Invariance Ratio)以评估评估器的可靠性。 实验表明 MQAScore 相比传统方法,是文本到音乐对齐更可靠且可解释的细粒度补充指标。

  7. arXiv · ML36

    DRAFT 首次从 fMRI 与相机轨迹重建未见过的 3D 房间布局

    该研究首次提出 DRAFT 方法,仅利用 fMRI 信号与相机轨迹重建未见过的 3D 房间布局,不依赖视觉帧。 方法从初级视觉皮层提取布局表示并与相机运动推导的自由空间融合,在10个未见场景(20名参与者)中达到 layout r 0.480。 该方法作为插件可提升7种 fMRI 解码器的性能,无需重新训练,将其 layout r 从 0.171–0.429 提升至 0.487–0.493。

  8. arXiv · AI28

    VLTest 发现视觉语言模型中的图文联合失效

    研究提出一种黑盒视觉语言模型(VLM)测试方法 VLTest,用于发现图文联合失效。 该方法通过编辑 VQGAN 隐代码生成图像变体,并利用改写-扩展-剪枝管道生成文本变体,确保每个联合失效具备四个匹配单元。 在 3 项任务和 8 个 VLM 的测试中,模型识别器对候选项的确认率为 81.7%,相比 SINVAD 和 TextFooler 找到多 1.8 至 2.5 倍的已确认失效。

  9. arXiv · ML29

    SciFusion: 物理引导的组合扩散用于多模态3D科学图像生成

    SciFusion 提出多模态 3D 科学图像生成框架,采用潜在扩散骨干与组合条件方案,在 15 种成像模态上实现零样本合成未见组合。 框架引入 MRI 傅里叶频谱、CT Radon 投影及电子显微镜多切片衍射的物理一致性目标,提升生成保真度与跨域泛化能力。 该框架为新兴模态提供了可扩展的统一生成方案,无需针对特定目标组合进行训练。

  10. arXiv · ML37

    EgoHand:基于第一人称视频的独眼 3D 手部重建模型

    独眼 3D 手部重建模型 EgoHand 实现 SOTA 性能,推理延迟约 9.69 ms,优于 HOT3D 等基准中的竞争模型。 模型以 1400 万图像构建训练语料,采用 SOMA-Hand 参数化表示与 Transformer 编码器,并整合相机线索及辅助 2D 分支。 EgoHand 模型与源代码已开源,允许免费商用,盲测结果也优于 Apple EgoDex 等基线。

  11. arXiv · ML21

    CRANE: 多模态分类器的事后反事实检索框架

    研究提出 CRANE 框架,作为首个模型无关的事后多模态反事实生成方法,通过检索目标类别真实训练样本作为候选解释。 在 4 个异构数据集和 3 种融合策略测试中,多模态共识检索(MC-R)策略在 3 个数据集上取得最优或并列最优结果,解释均基于联合训练分布。

  12. arXiv · ML21

    Piano2Pop:无需对齐监督的钢琴Demo转流行制作研究

    研究提出Piano2Pop任务,利用预训练flow-matching模型将钢琴MIDI转化为器乐流行制作。 方法使用无对齐监督的伪监督策略,在476对真实钢琴与流行曲目测试中,成对监督方法在Fréchet Audio Distance等指标上表现最优。 该研究展示了任务特定建模在音乐生成中的重要作用,相关论文已投稿至ICASSP2027。

  13. arXiv · ML35

    RCR 提出速率控制 KV 重选优化长程多模态生成效率

    针对多模态 LLM 长文本生成中 KV cache 一次性预取失效的问题,提出速率控制刷新(RCR)方法。该方法利用漂移决定重选时机,通过每样本控制器调节频率,结合低秩检测器。 RCR 在 6 个模型任务中的 5 个设置下超越 InfiniGen 1.6-3.8 ROUGE-L 分,且 GPU 常驻检测器体积缩小 4 倍,性能接近精确逐步重选。

  14. arXiv · ML45

    System 1 模型在医学领域的价值:零样本临床任务评测

    4 个 System 1 模型在 86 项公开临床任务上零样本评测,覆盖 20 种语言和 179,111 例。 最佳模型平均 AUROC 达 0.94(医学知识)至 0.69(体积影像),文本任务优于 13/26 项已发表结果,单次决策耗时 0.34-0.44 秒。 影像任务 AUROC 显著低于文本任务,且生成式模型速度慢 11-76 倍但平衡准确率略高。

  15. arXiv · AI28

    PointerBench:细粒度 GUI 定位诊断基准

    发布包含 1,500 个样本的 PointerBench 基准,用于测试细粒度 GUI 定位能力。 包含 Sheets、Text、Pro 三个子集,评估了通用模型与 39 种专用 GUI 定位配置。Claude Fable 5 在文本定位任务中成功率仅 69.6%,表明前沿模型在细粒度定位上仍有较大提升空间。

  16. arXiv · AI38

    Trion-1:统一语言、蛋白质序列与结构的扩散语言模型

    研究人员提出 Trion-1,这是首个原生统一的蛋白质多模态扩散语言模型(dLLM),用于生成和理解蛋白质序列与结构。 该模型采用统一的离散 token 空间表示序列、结构和自然语言,并使用 dLLM 骨干网络。在严格同源性控制的测试中,其折叠任务单次样本 TM-score 即高于 0.8,性能媲美使用 200 个样本的现有模型。

  17. arXiv · AI48

    Dual Exam:多模态智能体与世界模型的受控评估基准

    Dual Exam 基准测试了多模态智能体与世界模型,在物理、数字等四大领域实现受控评估。 智能体赛道对比10种配置,涵盖15个报告类别;世界模型赛道包含8个场景的400个案例。GPT 6 Astra 在加权智能体指数中以31.3分居首。 结果表明任务表现不均且存在状态保持失败,预测耦合成功的能力尚待验证。

  18. arXiv · AI20

    缓解显著性崩溃:鲁棒的显著性感知长图文本对齐

    研究识别出长图文本对齐中的“显著性崩溃”失效模式,提出显著性感知微调框架 RoSA。该框架将图文对分解为显著与语境视图,结合对象级视觉显著性估计和 LLM 文本分解,通过辅助目标对齐不同视图。RoSA 在基准测试中显著改善了长文本检索性能,并展示了强健的抗显著性崩溃能力,其辅助目标可即插即用地提升现有微调方法的效果。