跳到正文
11月6日周五
  1. arXiv · ML35

    扩散多模态大模型视觉冗余受控并行解码

    针对扩散多模态大模型(dMLLMs)并行解码中视觉锚点重叠导致的冗余问题,提出无训练时的推理方法视觉冗余受控解码(VRCD)。 VRCD利用token-图像注意力机制优先选择视觉互补的位置,在多个多模态基准测试中降低视觉冗余,相比置信度解码在M^3CoT和MMBench上分别提升准确率18.8%和6.9%。

  2. arXiv · AI27

    StreamGaze:面向流式视频的眼动引导时序推理与主动理解基准

    研究团队提出首个流式视频眼动引导基准 StreamGaze,用于评估多模态大语言模型在时序与主动推理中对人类视线信号的利用能力。 该基准包含过去、现在和主动三类任务,并配套构建了结合凝视轨迹生成时空对齐问答数据的处理流水线。 实验显示当前多模态大语言模型性能与人类存在显著差距,暴露出视线时序推理与意图建模的局限,相关数据与代码已公开。

  3. arXiv · AI33

    利用 ChatGPT 多模态视觉能力对卫星图像进行贫困等级排序:推进社会科学研究工具

    ChatGPT 能基于卫星图像对贫困等级进行排序,其准确率与使用人类专家特征训练的模型相当,且优于此前报道的专家直接财富分类。 研究采用成对比较方法评估 LLM 在分析人类贫困中的表现,并探讨了公开数据集 DHS 中位置坐标去噪处理对财富指数提取可靠性的影响。 该研究为贫困评估工作流程中整合 LLM 提供了基础,并为成本效益更高的大规模贫困监测开辟了新途径。

  4. arXiv · ML40

    DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响

    DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。

  5. arXiv · ML21

    CoMPAS3D:用于交互式运动生成的大规模数据集与评估基准

    CoMPAS3D发布了包含3小时数据的交互式双人萨尔萨舞动作捕捉数据集及评估框架,旨在解决现有运动生成模型缺乏语义有效性评估的问题。 数据涵盖18名不同水平舞者的即兴表演,包含超过2800个专家标注片段,并定义了动作分类、水平估算及跟随者生成三项基准任务。 细调视觉语言模型在该框架下的表现与专家主观判断呈正相关,证实了该客观指标在衡量生成舞蹈质量方面的有效性。

  6. arXiv · AI34

    LIFT 通过语言侧推理向量恢复 VLM 退化的推理能力

    LIFT 是一种轻量级向量干预方法,无需重训骨干即可将基础 LLM 的推理能力迁移至 VLM,在六个推理基准上验证了其有效性。 该方法定义推理向量为推理路径与求解路径答案 token 隐层状态之差,并注入目标 VLM 的语言侧激活,其中 LLM 提取的向量表现优于 VLM 自身。 分析表明该向量影响了中间推理行为而非仅改变最终答案,论文已被 NeurIPS 2026 接收且源码即将发布。

  7. arXiv · AI26

    DiffDiff:嵌入可预测性不对称性的时间序列扩散预测框架

    DiffDiff 提出一种扩散框架,通过嵌入可预测性不对称性实现端到端的时间序列概率预测。 该模型使前向算子具备步依赖性,让噪声中间状态从目标值逐步转移至二阶差分结构,并利用阶段自适应门控平衡条件路径。 在涵盖四个预测时域的七个基准测试中,DiffDiff 的性能优于六个扩散基线模型,提升了分布保真度。

  8. arXiv · ML31

    4D Point Splatting 实现毫米波雷达微多普勒可微渲染

    提出物理基可微渲染器 4D Point Splatting,在 HuPR 和 RT-Pose 数据集上实现毫米波雷达场景逆向渲染。 输出原始复数回波,微多普勒相关系数达 0.988;定制 CUDA 核在单张 H100 上 5.7 分钟完成序列拟合。 首次实现数据集规模逆向渲染,可生成合成数据并支持场景编辑以增强数据。

  9. arXiv · AI33

    Hypnos 发布:基于 Next-Token Prediction 的通用睡眠生理表征学习模型

    Hypnos 多模态睡眠基础模型采用 Next-Token Prediction 训练,利用残差向量量化将信号转为离散 token。 基于超 20,000 份多导睡眠图记录,支持 EEG、ECG 等 8 种传感模态的并行生成与嵌入提取。 在睡眠分期分类中仅需 1/100 标注数据匹配强监督基线,且检测心室颤动的表现超越专用 ECG 基础模型。

  10. arXiv · AI29

    VisAnomReasoner:基于参数高效视觉语言模型的时间序列异常检测

    VisAnomReasoner 在 VisAnomBench 基准测试中,精确率与 F1 分数较基线分别提升 21.23 和 23.87 个百分点。 该模型通过微调构建,在 TSB-AD-U 交叉泛化实验中,精确率与 F1 分数也分别提升 9.57 和 13.39 个百分点。 该研究已被 NeurIPS 2026 接收,解决了异常检测缺乏自然语言推理依据的问题。

  11. arXiv · ML24

    EDGAR:基于扩散模型的高效高斯头像精修方法

    研究提出 EDGAR,一种条件扩散框架,旨在通过修正伪影提升高斯头像质量。 该模型结合 MoE 架构与 Sapiens 模型提取的身份特征,利用一步扩散主干对退化帧进行精修,并构建了含真实与合成样本的 EDGAR-SET 数据集。 实验显示 EDGAR 在感知与重建指标上优于基线,代码已开源并获 ACM TOG 收录。

  12. arXiv · ML20

    MIIB 框架提出用于多模态自监督学习

    MIIB 基于 Partial Information Decomposition 提出多模态自监督学习框架,显式编码冗余、独特及协同信息。 采用双路径架构进行模态编码与融合,利用熵目标优化以获取最小充分表示。 实验显示 MIIB 在多样化基准上持续优于最先进的多模态自监督方法,代码已开源。

  13. arXiv · ML29

    英文校准削弱 Mixture-of-Experts 模型中的立陶宛语性能

    研究通过专家剪枝发现,英文校准无法有效迁移至立陶宛语。在 25% 剪枝率下,立陶宛语阅读理解的中等降幅达 21.4 分,远高于英文的 1.7 分。 模型在最终层表现出不对称路由:立陶宛语 55-72% 的专家选择集中在 8 个专家上,而英文仅为 19-39%。使用立陶宛语校准可保留 2.5 分更高的英文理解能力,证明压缩模型需按服务语言进行独立校准。

  14. arXiv · ML22

    TACT-KV:用于压缩医疗 VLM 三维 KV 缓存的三轴余弦变换

    TACT-KV 提出无校准的三轴余弦变换方法,压缩 3D 医疗扫描产生的海量视觉 token KV 缓存,消除结构内存墙。 方法对 KV 缓存执行可分离 3D DCT,通过逆向注水法分配比特预算并量化,6 个医疗 VLM 和 2 个 3D CT 基准中 12 个组合里 11 个取得最低 1-bit 预测翻转率。 在单 GPU 上,相同 HBM 限制下将解码批处理规模提升最高 8 倍。

  15. arXiv · AI45

    ARMs:基于插件式攻击的自适应多模态模型红队智能体

    论文提出 ARMs,一种利用推理增强多步编排的自适应红队智能体,旨在系统性评估视觉语言模型(VLMs)的安全漏洞。 该系统集成了 17 种红队算法并设计了 11 种多模态攻击策略,通过 epsilon-greedy 探索算法平衡攻击多样性与有效性。 实验显示 ARMs 攻击成功率平均高出基线 52.1%,在 Claude-4-Sonnet 上超过 90%。

  16. arXiv · ML30

    基于上下文感知自动化 NMR 结构解析的机器学习协议

    通过结合自动逆向合成分析生成训练集,该协议使 NMR 结构解析模型能利用分子前体等化学上下文信息。 模型在包含最多 40 个重原子的分子上,Top-15 准确率最高达 95.4%;即使上下文与目标分子不相关,模型性能也保持稳健。 此方法为提高各类光谱结构解析平台利用上下文数据的效率提供了有效途径。

  17. arXiv · ML22

    代理法用于衡量文生图模型中的种族偏见

    研究提出自动化方法审计文生图模型,利用美国反歧视法中的代理变量,对比模型输出与美国普查数据。 测试显示 Imagen 4 Fast 存在较高的种族表示偏差和皮肤色调单一问题;Stable Diffusion 3.5 在肤色多样性方面表现最佳。 该方法提供具有法律基础的审计工具,能在不依赖隐式公平定义的情况下揭示模型输出的详细偏见。

  18. arXiv · ML24

    卵巢癌多组学数据合成:一种生物学启发的评估框架

    该研究提出生物学启发的患者互斥框架,用于评估合成RNA表达与CNV数据,并应用于DECIDER高级别浆液性卵巢癌队列。 框架通过比较真实训练与留出数据一致性来评估模态保真度及RNA-CNV间一致性,结合训练数据邻近性诊断。 研究基于变分自编码器改造了三种多组学集成架构,该协议为多组学生成器比较提供基准。

  19. arXiv · AI30

    ReferClaw:面向第一视角助手用户意图消歧的智能体框架

    ReferClaw 提出一种将第一视角流式问答转化为交互过程的智能体框架,通过询问澄清问题来解决用户意图歧义,从而减少意图错位答案。 框架由识别候选解释、请求澄清和基于视觉证据生成答案的协作智能体组成,并采用成本感知策略平衡信息增益与用户努力。 在第一视角问答基准上的评估显示,该框架在答案准确性和联合答案与依据性能上优于现有基线,并具备零样本跨数据集迁移能力。

  20. arXiv · AI33

    UniGADD:通用生成器无关的深度伪造检测器

    UniGADD提出一种生成器无关的深度伪造检测方法,在已知生成器上达到SOTA水平,且在未见过的生成器上显著优于现有方法。 该方法采用两阶段优化:第一阶段利用对比损失学习判别性特征嵌入,第二阶段仅对真实样本优化嵌入空间以增强泛化性。

  21. arXiv · ML30

    BEEMO 框架通过解耦行为预训练扩展神经运动解码

    BEEMO 框架利用未配对行为数据辅助神经解码,在灵长类动物非侵入性实验中显著提升新任务迁移性能。 该框架通过交叉注意力层独立扩展行为与神经监督,仅用行为数据预训练即可媲美更大规模神经数据集模型。 代码已公开,为低成本构建跨任务通用神经解码模型提供可行路径。

  22. arXiv · AI26

    基于动作条件 VLM 的自动驾驶语义异常监测研究

    研究提出一种动作条件视觉语言模型(VLM)监测方案,用于识别自动驾驶在语义异常场景中的不当行为。 方案通过比较场景预期动作与实际自车轨迹判定异常,在两阶段协议中于 235 个片段上实现 83.0% 准确率及 0.773 异常召回率。 该方法优于仅基于视频的单阶段基线,为提升复杂场景下的自动驾驶安全监测提供了技术路径。

  23. arXiv · AI26

    PSGAgent:基于智能体推理增强多模态大模型全全景场景图生成的动态视觉感知

    PSGAgent 提出一种基于思考-行动-观察循环的智能体框架,通过区域放大与视觉高亮工具解决 MLLM 在全全景场景图生成中的静态感知瓶颈。 框架采用两级训练管线,先利用高质量多模态思维链数据集进行冷启动,再结合 GSPO 优化层级奖励机制以自适应使用工具,在 PSG 基准上取得 SOTA 性能。

  24. arXiv · AI27

    SD-LoRA:面向少样本视觉语言适应的训练时结构蒸馏

    SD-LoRA提出训练时结构蒸馏框架,通过图教师模型在训练阶段利用token级图推理,将其结构先验隐式蒸馏至轻量级CLIP-LoRA骨干中。 推理时丢弃图教师,仅需单次CLIP-LoRA前向传播及基于缓存的分类器,无额外图计算开销。 在11个少样本基准测试中,SD-LoRA相比强力CLIP-LoRA基线在1/2/4/8/16-shot设置下分别提升2.4/1.8/3.0/2.4/2.0个百分点。

  25. arXiv · AI23

    GENIQ:利用文生图生成器自身图像进行皮肤病灶分割

    研究人员提出无需训练的GENIQ方法,通过文生图扩散模型生成健康皮肤与病灶图像构建原型,解决概念词注意力在皮肤镜图像中不可靠的问题。 该方法从生成图像中获取的皮肤-病灶方向与真实病灶分离方向对齐度更高,结合无标注图像中的极似皮肤/病灶斑块进行原型精化。 在三个皮肤镜测试集上,GENIQ取得了0.85-0.88的Dice分数,优于零样本及基于词的方法。

  26. arXiv · AI21

    NPCBench:鼻咽癌多模态诊疗路径推理的临床实习基准

    NPCBench 提出涵盖 4,777 项任务与 100 名患者诊疗轨迹的临床基准,测试 30 个模型在多模态证据下的联合决策能力。 在 21 个多模态模型中,严格诊疗路径成功率最高仅 23%,显示单点任务高分无法保证整体诊疗正确。 该基准拓展了医学 AI 评估范式,为肿瘤护理中基于证据的时间连贯推理提供测试平台。