跳到正文
11月10日周二
  1. arXiv · AI29

    脑 MRI 中 VLM 置信度评估:回答还是转诊

    8 个开源 VLM 在 3,888 张脑 MRI 切片上测试置信度阈值化,BraTS 上无模型能在 5% 误差内保留有效切片。 10% 误差预算下 Gemma-4-12B 仅保留 24.4% 切片,其他模型不超过 2.5%。 结论:未经验证的置信度不宜作为独立转诊信号,需按人群做部署前验证。

  2. arXiv · AI26

    UltraGuard:基于超声波的生物特征水印方法,实时防御人脸视频深度伪造

    团队提出 UltraGuard 方法,利用手机扬声器和麦克风发射超声波并捕获生物特征,实时嵌入视频。 该方法将生物特征与时空动态特征融合编码,在传播过程中实现内容感知水印。 实验证明其能有效抵御伪造和编辑攻击,可部署于移动端保护人脸视频安全。

  3. arXiv · AI34

    将科学论文转化为AI智能体基准:空间转录组学对齐任务的审计

    该框架将科学论文转化为AI智能体基准,在121个空间转录组学对齐任务中审计了6个智能体和16种基线方法。 性能最佳的 GPT-6-Astra 和 Gemini-4-Argon 在80%的任务上匹配或超越所有基线,且智能体表现对提示词和预装软件包具有鲁棒性。 框架还发现现有评估指标中的捷径错误,并成功将智能体生成的解决方案蒸馏为排名进入前10%的专用程序。

  4. arXiv · ML36

    引导式协同注意力与自适应门控用于多模态医疗数据融合

    提出引导式协同注意力与自适应门控(GCAG)多模态融合框架,在胸片与报告二分类任务中取得96.05%准确率、98.37% AUC。 框架通过双向交叉注意力构建图像-文本条件表征,并利用token级引导与样本特异性自适应门控动态加权,验证了交互方向与融合机制的互补收益。 研究发表于IEEE BIBM 2026,证明显式建模交互方向、token相关性及样本依赖性对多模态表征构建具有支撑作用。

  5. arXiv · ML22

    VLM 谄媚行为机制重评:不确定性而非隐藏

    研究指出视觉语言模型在检索增强生成中未能报告矛盾是因将其注册为不确定性,而非刻意隐藏已知冲突。 在四个经指令调整的 VLM 胸部 X 光测试中,行为探测证实矛盾抑制,线性探针显示匹配与不匹配输入可区分,且优于 CLIP。 强制选择无法恢复矛盾报告,跨模态注意力在失配时下降,呼吁重新进行不确定性显现。

  6. arXiv · AI26

    SurgKnowBench 和 SurgAgentGym 如何评测手术场景理解中的通用智能体

    研究团队提出两阶段评测框架,通过 SurgKnowBench 诊断基准揭示当前多模态大语言模型在程序理解上的薄弱边界。 引入 SurgAgentGym 智能体环境,验证使用知识搜索和视觉定位等工具可提升推理时理解,但精确定位仍是瓶颈。 该研究被 NeurIPS 2026 接收,为手术智能体理解提供了新路径。

  7. arXiv · AI23

    MoT3DVG:面向户外 3D 视觉定位的运动感知基准

    研究团队提出 MoT3DVG 数据集与 DynaVG 框架,实现户外动态 3D 视觉定位 SOTA 性能。 该数据集基于 nuScenes 构建,包含 850 场景、31,128 帧及 144,568 条运动描述,DynaVG 引入 SLIDE 模块融合局部运动与全局时序线索。 这项工作为户外自动驾驶场景中的 3D 视觉定位提供了新的评测标准与研究方向。

  8. arXiv · ML25

    柏拉图表示假设下的对齐涌现位置及意义:基于基线校准的跨模态分析

    研究发现随着语言模型能力提升,其与视觉模型的对齐趋势在新模型中依然存在。 前提是描述文本足够干净且信息丰富,且需消除模型深度和宽度带来的干扰。 单模态模型的跨模态表示对齐可超越显式对齐的视觉-语言模型,但仍低于同模态模型间的对齐水平。

  9. arXiv · AI20

    A2MoE:面向3D医学视觉-语言预训练的解剖激活混合专家模型

    A2MoE框架将解剖归纳偏置引入3D医学视觉-语言预训练,基于6万余例多期CT数据训练后,在分割、分类和检测基准上取得领先性能。 其核心包含直方图表示路由器(HRR)和器官查询多尺度投影器(OQMSP),通过patch级路由降低复杂度,并无需人工标注即可实现细粒度对齐。 该模型还能泛化至MRI和超声影像,为医学表征学习提供可扩展基础。

  10. arXiv · AI28

    基于盲点推理与 Agentic 对话的 VLM 选择性协同感知

    该研究提出基于 VLM 的 Agentic 框架,利用混合模型架构实现选择性协同感知,支持盲点推理与对话交互。框架结合常规目标检测、VLM 视觉语言推理及物理几何模块,并采用 CoT 提示增强可解释性。实验显示,其驾驶关键盲点检测准确率超 80%,对话驱动感知共享成功率超 90%。

  11. arXiv · AI22

    CC2-STG:基于凸凹分解与稀疏拓扑学习的骨骼临床评估框架

    针对骨骼康复评估中固定拓扑无法建模代偿模式及缺乏几何理解的问题,CC2-STG 框架通过结合几何分解、稀疏特征学习与自适应拓扑实现了 SOTA 性能。 模型分解关节关系为互补的凸凹距离函数,利用稀疏正则化选择临床相关特征,并通过多尺度拓扑分析捕捉病理性运动中的非解剖学关节依赖。 在 KiMoRe 和 UIPRMD 数据集上的实验验证了该框架在临床病理性运动评估中的有效性。

  12. arXiv · AI28

    VisProve:通过类型化视觉溯源提升科学文档问答准确性

    VisProve 模型通过结合可微分空间证据读取与反馈,将科学文档问答的 Typed-F1 从 3.52 提升至 5.48。 该模型基于包含 3,941 个问题的 ReViE 数据集进行训练,采用门控范数受限残差连接条件化下一 token 预测。 实验表明,将视觉定位与支持关系建模相结合主要改善了细粒度溯源,揭示了答案生成与证据归因间的显著差距。

  13. arXiv · AI35

    EndoSCOP-V:用于内镜报告与临床推理的多模态模型多轮视频理解评测框架

    EndoSCOP-V 是一个基于视频的评测框架,包含 1,307 段内镜视频和 20,274 个问答轮次,由 1,033 份临床医生审核的模板确定性生成。 该框架采用马尔可夫上下文剪枝协议逐轮评估,15 名认证内镜医生组成的专家组确立了 78% 的严格准确率基准。 最佳的 27B 级开源模型严格准确率仅达 59.8%,在量化测量和长时程视频干预推理方面仍存在显著差距。

  14. arXiv · AI44

    通用生成式 AI 能否为医学视觉模型提供训练数据?一项多模态回顾性研究

    通用图像生成模型 Nano Banana 用于医学图像合成,仅用合成数据训练的肺炎模型 AUROC 达 0.877。 合成数据可补充训练与子群增强,但校准性能不稳定;编辑视网膜图像可使模型概率从 0.996 降至 0.822。 临床医生需结合校准分析和决策曲线评估合成数据的临床价值,而非仅看判别指标。

  15. arXiv · ML32

    ELD:基于能量分布预测视觉预训练质量的合成数据筛选原则

    研究提出能量水平分布距离(ELD),通过对比真实与合成图像的能量分布来审计合成数据,预测视觉预训练性能优于 FID 和 LPIPS。 ELD 能识别被传统指标忽略的分布失配,并指导合成数据重采样与混合,在匹配真实图像能量直方图的同时保留多样性以提升下游迁移效果。 该成果已被 NeurIPS 2026 接收为口头报告。

  16. arXiv · AI29

    PoseBench: 探测视觉基础模型中的位姿感知能力

    研究提出 PoseBench 基准,用于探测预训练视觉特征中的位姿感知能力。 该基准评估了来自 10 个预训练家族的 31 个公开检查点,结合 held-out 渲染视图和真实图像查询进行系统性测试。 研究发现位姿感知是 2D 视觉基础模型的隐式且不均匀属性,且位姿图优化可进一步提升性能。

  17. arXiv · AI20

    LoCo:面向判别式开放词汇多标签识别的选择性局部竞争

    提出 LoCo 框架,通过空间一致视觉编码器和选择性 Softmax 处理局部语义稀疏性,增强开放词汇多标签识别(OV-MLR)的判别能力。 独立使用 LoCo 在四个基准上将平均 F1 和 mAP 分别提升 3.4% 和 3.8%;结合 DualPrompt 后优势扩大至 4.8% 和 5.2%。 代码已开源,该论文被 NeurIPS 2026 接收。

  18. arXiv · AI21

    ViT-B/16 在 Deepfake 检测中展现更优的视频级稳定性

    在统一框架下对比 ResNet-18、EfficientNet-B0 与 ViT-B/16,ViT-B/16 在 Celeb-DF v2 上取得 92.8% 视频级准确率。 AUC 为 0.950,而 CNN 模型在视频级聚合后性能下降;跨数据集 AUC 仅为 0.79 和 0.64,显示泛化差距。 全局自注意力提升了域内鲁棒性,但需进一步解决跨域泛化问题。

  19. arXiv · AI30

    基于隐私感知几何表征的面部表情识别基准研究

    该研究提出一种仅使用面部关键点(478点)和混合形状(52个系数)的轻量级隐私感知管道,避免存储原始视频。在融合CREMA-D和RAVDESS数据集上,从零训练的几何模型在未见受试者上性能超越ImageNet预训练的ResNet50基准,参数量减少12至124倍。消融实验表明混合形状捕捉主要判别信号,关键点提供互补空间拓扑,该方案可消除对视觉骨干网络的依赖。