脑 MRI 中 VLM 置信度评估:回答还是转诊
8 个开源 VLM 在 3,888 张脑 MRI 切片上测试置信度阈值化,BraTS 上无模型能在 5% 误差内保留有效切片。 10% 误差预算下 Gemma-4-12B 仅保留 24.4% 切片,其他模型不超过 2.5%。 结论:未经验证的置信度不宜作为独立转诊信号,需按人群做部署前验证。
8 个开源 VLM 在 3,888 张脑 MRI 切片上测试置信度阈值化,BraTS 上无模型能在 5% 误差内保留有效切片。 10% 误差预算下 Gemma-4-12B 仅保留 24.4% 切片,其他模型不超过 2.5%。 结论:未经验证的置信度不宜作为独立转诊信号,需按人群做部署前验证。
PhysDNet 在 Seeing Through Fog 基准上性能优于竞品 1.67 dB,计算量降低 5.2 倍,恢复 54.9% 的雾致检测损失。 该轻量架构融合近红外图像与稀疏 LiDAR 深度,通过物理约束双头目标进行训练,在 L/M/S 变体中以低于 4 瓦功耗运行。 模型被 NeurIPS 2026 接收,支持在固定功能 NPU 上部署。
团队提出 UltraGuard 方法,利用手机扬声器和麦克风发射超声波并捕获生物特征,实时嵌入视频。 该方法将生物特征与时空动态特征融合编码,在传播过程中实现内容感知水印。 实验证明其能有效抵御伪造和编辑攻击,可部署于移动端保护人脸视频安全。
该框架将科学论文转化为AI智能体基准,在121个空间转录组学对齐任务中审计了6个智能体和16种基线方法。 性能最佳的 GPT-6-Astra 和 Gemini-4-Argon 在80%的任务上匹配或超越所有基线,且智能体表现对提示词和预装软件包具有鲁棒性。 框架还发现现有评估指标中的捷径错误,并成功将智能体生成的解决方案蒸馏为排名进入前10%的专用程序。
提出引导式协同注意力与自适应门控(GCAG)多模态融合框架,在胸片与报告二分类任务中取得96.05%准确率、98.37% AUC。 框架通过双向交叉注意力构建图像-文本条件表征,并利用token级引导与样本特异性自适应门控动态加权,验证了交互方向与融合机制的互补收益。 研究发表于IEEE BIBM 2026,证明显式建模交互方向、token相关性及样本依赖性对多模态表征构建具有支撑作用。
研究指出视觉语言模型在检索增强生成中未能报告矛盾是因将其注册为不确定性,而非刻意隐藏已知冲突。 在四个经指令调整的 VLM 胸部 X 光测试中,行为探测证实矛盾抑制,线性探针显示匹配与不匹配输入可区分,且优于 CLIP。 强制选择无法恢复矛盾报告,跨模态注意力在失配时下降,呼吁重新进行不确定性显现。
这项研究在 1%、5% 和 10% 标注率下评估了 SimCLR、BYOL 及掩码重构基线的自监督学习可靠性,实验在 PatchCamelyon 和 PANDA 数据集上进行。
在低数据场景下,大语言模型等基础模型的上下文学习在肽段性质预测上表现与XGBoost经典基线持平,未显著超越。研究评估了二分类和多分类任务,发现模型预测会受预训练知识影响,可能偏向已知的序列-性质关系。
发布含相机位姿的机器人手持柔性条带多视角视频数据集及 LaGSplat 3D 基线。 机械臂沿一维路径振荡驱动条带,4 部 iPhone 同步录制 10 分钟数据。 LaGSplat 在留出视角上渲染达 26-33 dB PSNR,支持浏览器实时交互,代码开源。
研究团队提出两阶段评测框架,通过 SurgKnowBench 诊断基准揭示当前多模态大语言模型在程序理解上的薄弱边界。 引入 SurgAgentGym 智能体环境,验证使用知识搜索和视觉定位等工具可提升推理时理解,但精确定位仍是瓶颈。 该研究被 NeurIPS 2026 接收,为手术智能体理解提供了新路径。
研究团队提出 MoT3DVG 数据集与 DynaVG 框架,实现户外动态 3D 视觉定位 SOTA 性能。 该数据集基于 nuScenes 构建,包含 850 场景、31,128 帧及 144,568 条运动描述,DynaVG 引入 SLIDE 模块融合局部运动与全局时序线索。 这项工作为户外自动驾驶场景中的 3D 视觉定位提供了新的评测标准与研究方向。
研究发现随着语言模型能力提升,其与视觉模型的对齐趋势在新模型中依然存在。 前提是描述文本足够干净且信息丰富,且需消除模型深度和宽度带来的干扰。 单模态模型的跨模态表示对齐可超越显式对齐的视觉-语言模型,但仍低于同模态模型间的对齐水平。
提出 TEA-Prompt 方法,通过行为锚定实现无重放持续学习,在 CIFAR-100 等基准上取得 SOTA 精度且遗忘显著降低。 该方法使用仅 0.38M 参数,结合 token 评估模块和注意力行为锚定损失,无需存储旧图像即可保护旧知识。 论文已被 WACV 2027 接收,代码公开可用。
该框架通过扰动产物将空间外观掩膜$M_a$与时间运动掩膜$M_m$解耦,联合优化以解释视频动作识别模型。 在EPIC-Kitchens-55等基准上,该方法取得最低删除AUC,且生成的掩膜比基线稀疏约5倍。 已被NeurIPS 2026会议接收。
研究提出无训练激活引导框架 Viscot-steer,通过解耦定位与推理向量迁移 LVLM 视觉思维链能力。 该框架对齐源模型与目标模型激活空间,在主要评测指标上平均比最强基线高 1.86 个百分点。
summary_zh: TTS系统使用2-4步Euler求解器时,说话人相似度(SIM)下降1-6分,主要源于纯噪声处Classifier-Free Guidance的影响。
Pinterest 提出 GLOC(Generative Labeling On Clusters)框架,通过优化图像嵌入形成语义紧密的图像簇并在簇级别生成总结性洞察,解决了传统人工标注高成本、覆盖有限及生成式AI延迟高的问题。
A2MoE框架将解剖归纳偏置引入3D医学视觉-语言预训练,基于6万余例多期CT数据训练后,在分割、分类和检测基准上取得领先性能。 其核心包含直方图表示路由器(HRR)和器官查询多尺度投影器(OQMSP),通过patch级路由降低复杂度,并无需人工标注即可实现细粒度对齐。 该模型还能泛化至MRI和超声影像,为医学表征学习提供可扩展基础。
研究发现,使用代码 LLM 生成的数据变换程序在 CIFAR-10、CIFAR-100 和 SVHN 数据集上的准确率均超过对 6000 个候选进行暴力搜索的结果,分别达到 0.8877、0.5825 和 0.9588。
研究提出 VFI-ReID 框架,利用检索候选人的视觉反馈作为后续提问证据,解决现有方法离线学习问题。该框架结合 DAR 和检索感知提问优化,在 VFI-PR 各阶段持续提升检索准确率并超越 Inter-PR 基线。 该工作构建了 VFI-PEDES 数据集与评估协议,支持视觉反馈交互的训练与评测。
该研究提出基于 VLM 的 Agentic 框架,利用混合模型架构实现选择性协同感知,支持盲点推理与对话交互。框架结合常规目标检测、VLM 视觉语言推理及物理几何模块,并采用 CoT 提示增强可解释性。实验显示,其驾驶关键盲点检测准确率超 80%,对话驱动感知共享成功率超 90%。
提出 CastReasoner,采用结构化 CoT 提取上下文证据以指导自适应时间序列预测。 通过合成推理轨迹与多目标奖励,结合 SFT 和 RL 实现两阶段后训练。 多领域基准测试显示其预测性能优越。
WorldFoundry 开源统一了视频、3D/4D 及具身动作的推理与评测基础设施,包含 270 个模型和 74 个基准测试。 该系统通过显式清单将执行就绪与评估声明分离,支持可复现的跨系统对比,推动领域从感知合成转向可测量的世界智能。
FedUR 是首个利用 CLIP 等预训练视觉语言模型零样本能力进行联邦无监督识别的框架,其性能在标签级和特征级分布偏移下均优于基线方法。 该框架通过类感知数据选择策略处理数据异构性,并在服务器端聚合通用视觉提示词、在客户端保留个性化文本提示词。
针对骨骼康复评估中固定拓扑无法建模代偿模式及缺乏几何理解的问题,CC2-STG 框架通过结合几何分解、稀疏特征学习与自适应拓扑实现了 SOTA 性能。 模型分解关节关系为互补的凸凹距离函数,利用稀疏正则化选择临床相关特征,并通过多尺度拓扑分析捕捉病理性运动中的非解剖学关节依赖。 在 KiMoRe 和 UIPRMD 数据集上的实验验证了该框架在临床病理性运动评估中的有效性。
RoadState-VLM 通过自回归状态估计生成结构化车道级语义,核心模型在真实数据集上平均准确率达 94.33%。 系统引入 Geo-CoT 机制及级联路由流程,将常规案例分发至轻量模型。 自 2025 年 3 月部署以来,已覆盖 360 余个城市,使生产总成本降低 30%。
VisProve 模型通过结合可微分空间证据读取与反馈,将科学文档问答的 Typed-F1 从 3.52 提升至 5.48。 该模型基于包含 3,941 个问题的 ReViE 数据集进行训练,采用门控范数受限残差连接条件化下一 token 预测。 实验表明,将视觉定位与支持关系建模相结合主要改善了细粒度溯源,揭示了答案生成与证据归因间的显著差距。
EndoSCOP-V 是一个基于视频的评测框架,包含 1,307 段内镜视频和 20,274 个问答轮次,由 1,033 份临床医生审核的模板确定性生成。 该框架采用马尔可夫上下文剪枝协议逐轮评估,15 名认证内镜医生组成的专家组确立了 78% 的严格准确率基准。 最佳的 27B 级开源模型严格准确率仅达 59.8%,在量化测量和长时程视频干预推理方面仍存在显著差距。
summary_zh: QCA-DenseNet 采用 8 量子比特变分电路作为通道注意力门控,结合 DenseNet121 实现静态 ASL 识别。 该模型包含 17,464 个参数,比 SE 模块少 7.51 倍。
通用图像生成模型 Nano Banana 用于医学图像合成,仅用合成数据训练的肺炎模型 AUROC 达 0.877。 合成数据可补充训练与子群增强,但校准性能不稳定;编辑视网膜图像可使模型概率从 0.996 降至 0.822。 临床医生需结合校准分析和决策曲线评估合成数据的临床价值,而非仅看判别指标。
研究提出能量水平分布距离(ELD),通过对比真实与合成图像的能量分布来审计合成数据,预测视觉预训练性能优于 FID 和 LPIPS。 ELD 能识别被传统指标忽略的分布失配,并指导合成数据重采样与混合,在匹配真实图像能量直方图的同时保留多样性以提升下游迁移效果。 该成果已被 NeurIPS 2026 接收为口头报告。
研究人员发现现有潜空间多模态大模型存在心象崩塌失效模式,其生成的视觉潜变量对最终答案概率影响微弱,大部分推理计算实际路由至文本。该失效源于现有训练目标,视觉对齐仅使潜变量相似但未强制解码器依赖。
单步世界模型采用冻结 DINOv2/v3 补丁 Token,其最近邻匹配目标(IMLE)在性能上优于扩散模型。实验表明,m=16 的候选数量在预测覆盖率上超过 50 步流匹配,且推理延迟仅为其 1/30。
研究提出 PoseBench 基准,用于探测预训练视觉特征中的位姿感知能力。 该基准评估了来自 10 个预训练家族的 31 个公开检查点,结合 held-out 渲染视图和真实图像查询进行系统性测试。 研究发现位姿感知是 2D 视觉基础模型的隐式且不均匀属性,且位姿图优化可进一步提升性能。
提出 LoCo 框架,通过空间一致视觉编码器和选择性 Softmax 处理局部语义稀疏性,增强开放词汇多标签识别(OV-MLR)的判别能力。 独立使用 LoCo 在四个基准上将平均 F1 和 mAP 分别提升 3.4% 和 3.8%;结合 DualPrompt 后优势扩大至 4.8% 和 5.2%。 代码已开源,该论文被 NeurIPS 2026 接收。
在统一框架下对比 ResNet-18、EfficientNet-B0 与 ViT-B/16,ViT-B/16 在 Celeb-DF v2 上取得 92.8% 视频级准确率。 AUC 为 0.950,而 CNN 模型在视频级聚合后性能下降;跨数据集 AUC 仅为 0.79 和 0.64,显示泛化差距。 全局自注意力提升了域内鲁棒性,但需进一步解决跨域泛化问题。
研究提出KnifeHunter数据集与KHNet架构,在约12.5万干扰图下于困难协议达成63.4% mAP。 评估NarrativeBridge混合管线在27段英国BWV视频上表现领先,但仍存在13.6%事件无依据及27.7%发言归属错误。
CXR-CMFA 实现 93.45% 准确率与 99.19% AUC,仅 4 个假阳性。 采用 EfficientNet-B0 与 DenseNet-121 双视觉流及 TF-IDF-MLP 报告编码器,经 DMSAM 和 CGFF 模块融合。 轻量化设计支持高特异性筛查,无需依赖大型预训练语言模型。
该研究提出一种仅使用面部关键点(478点)和混合形状(52个系数)的轻量级隐私感知管道,避免存储原始视频。在融合CREMA-D和RAVDESS数据集上,从零训练的几何模型在未见受试者上性能超越ImageNet预训练的ResNet50基准,参数量减少12至124倍。消融实验表明混合形状捕捉主要判别信号,关键点提供互补空间拓扑,该方案可消除对视觉骨干网络的依赖。
GMD-Mamba 通过分组多向扫描和仅在深层编码器使用 Mamba,将模型参数量降至 19.2M。 在 BraTS2023 数据集上,该方法取得 92.0% 平均 Dice 分数和 2.7 HD95 值。 代码已公开可用,并在 MSD Spleen 数据集上验证了竞争力。