OrganLens 实现 CT 基础模型的器官特异性表征学习
OrganLens 通过自监督学习实现 CT 基础模型的器官特异性表征,利用共享编码器和器官身份条件生成 11 个器官特定表示。 该模型在 CT-RATE 上将心脏扩大 AUROC 从 0.917 提升至 0.953,在 NLST 上改善肺癌、呼吸和 COPD 死亡率的 Harrell C-index。 它提供了研究跨队列器官特异性疾病的可扩展框架。
OrganLens 通过自监督学习实现 CT 基础模型的器官特异性表征,利用共享编码器和器官身份条件生成 11 个器官特定表示。 该模型在 CT-RATE 上将心脏扩大 AUROC 从 0.917 提升至 0.953,在 NLST 上改善肺癌、呼吸和 COPD 死亡率的 Harrell C-index。 它提供了研究跨队列器官特异性疾病的可扩展框架。
研究对比了 Hybrid Quantum-inspired CNN (HQiCNN) 与标准 CNN 在两个医疗影像数据集上的表现。在严格参数预算下,HQiCNN 性能优于经典基线;当经典层增加参数后,两者整体性能相当,HQiCNN 仅在中等数据量下保持优势。
Orbis 2 提出了一种分层驾驶世界模型,通过解耦高阶预测器和低层生成器,实现了高级别感知保真度与强大的空间语义表示。 该模型采用扩散强制预训练和教师强制微调的两阶段训练范式,在驾驶世界模型的标准基准测试中取得了最先进的结果。 Orbis 2 已被 NeurIPS 2026 接收,项目页面提供了代码、演示和检查点。
提出可解释新颖类别发现框架 xNCD,通过视觉-语言先验对齐在语义概念空间执行发现与伪标签分配。 xNCD 在 CIFAR-10 取得 92.63% 准确率,在 CIFAR-100 将准确率从 73.2% 提升至 76.45%,并唯一提供人类可读的集群与实例级解释。 该设计通过语义概念瓶颈限制了假设类,使发现的类别具备内在可解释性。
MMG-Pop 统一了数据集、多模态及交互信号,MMG-PopNet 在 Bluesky 和 Reddit 平台实验表现最优。 模型联合建模文本、视觉及图结构社交信号,实验揭示了跨平台泛化及 LLM 预测局限性。 该基准为异质模态下社会动力学建模及智能体生态系统研究提供基础。
研究团队发布眼科视觉问答(VQA)基准 FundusGround,包含 10,719 张眼底图像、15,595 个病变标注及 72,706 个问答对。 该基准利用 ETDRS 网格对病变进行空间定位,映射至 9 个临床视网膜区域,支持四类问答格式。 实验表明,引入病变级视觉证据能提升通用及医疗视觉语言模型的性能与透明度,证实了空间定位在可解释眼科 VQA 中的必要性。
CLP-DD提出了一种针对冻结预训练编码器的闭式线性探针数据蒸馏方法,通过样本空间核岭回归求解器替代传统的轨迹匹配或NTK近似。 该方法在ImageNet-100上显著优于LGM(无DSA),在ImageNet-1K上性能持平或超越LGM(含DSA),且速度提升14倍,GPU内存占用降至1/8以下。 代码已开源,相关研究被NeurIPS 2026收录。
研究提出轻量级框架 UNO,通过理解导向后训练将语义摘要和视觉回归作为监督信号,指导统一多模态模型的生成表示。 实验表明该方法实现了从理解到生成的有效梯度流动,在图像生成与编辑任务中验证了理解作为生成催化剂的有效性。 该工作已被 NeurIPS 2026 接收。
研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。
针对 DNABERT-2、Evo 2 和 Nucleotide Transformer v2 的逆向评估显示,平均池化嵌入未能完全保护隐私。单一解码器将 Evo 2 在 15 核苷酸处的重构相似度从近 1.00 降至 100 核苷酸处的 0.67。
自适应感知中,提升感知输出未必改善下游决策,甚至可能产生负面影响。 研究提出基准 DEEP 评估感知计算分配,发现 KITTI 和 nuScenes 数据中 34%–54% 改变下游损失的升级具有危害性。 按决策价值而非感知增益选择信号,可平均降低测试决策损失的 7.4%。
自适应各向异性注意力(AAA)将注意力分解为时间路径与空间路径,并通过小门控机制预测每token两者的凸组合权重。模型 AXON 在6项EEG下游任务中,其平均平衡准确率在探针学习和全量微调下均优于稠密基线。控制音频频谱实验表明该轴分解方法可推广至EEG之外的场景。
VIOLA 提出了一种结合最小专家监督与大量无标签数据的标签高效框架,旨在解决多模态大语言模型在稀缺标注数据下的泛化难题。 通过引入密度不确定性加权采样、混合池构建以及置信度感知检索与提示机制,该框架在九种基准测试中显著优于各类基线模型。 此研究证明了在低成本标注场景下实现稳健适应的可能性,相关成果已被 WACV 2027 接收。
提出 SEPS 框架以解决视觉与语言跨模态对齐中的补丁冗余和歧义问题,在 Flickr30K 和 MS-COCO 数据集上取得 23%-86% 的 rSum 性能提升。 该框架采用两阶段机制整合密集与稀疏文本的语义,并利用均值计算的相关性感知选择来突出关键补丁-词对应。 SEPS 已被 ICML 2026 录用,相关实现代码已在 GitHub 上公开。
研究发布 700 万参数 ECG 基础模型 RELAY,在真实点-of-care 数据集上零样本 AUROC 达 87.6% 和 81.5%,优于现有 12 导联模型。 模型通过图结构表示任意导联片段,在 29 项基准测试中,单导联和双导联随机设定下分别排名第一,且在 26 项和 22 项任务中表现最佳。 ECG 基础模型应在所有采集设置下评估,而非仅依赖 12 导联基准。
研究人员提出 EDVD-LLaMA 框架,通过可解释推理提升深度伪造视频检测的准确性与泛化能力。 该框架结合时空细微信息标记化(ST-SIT)与细粒度多模态思维链(Fg-MCoT),实现像素级时空定位并抑制模型幻觉。 研究还构建了可解释推理 FF++ 基准数据集(ER-FF++set),在跨伪造方法和跨数据集场景中展现出优于传统检测方法的鲁棒性。
研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。
基准测试了 156 个采用 Llama-3.2 和 Qwen3 架构的生成式医疗事件模型,重点评估 Tokenization 决策。 融合 Token 在 8 个结果家族中的 6 个产生显著增益,Spearman 相关系数提升 0.032 至 0.114。 将输入映射至 CLIF 格式可减少 71.4% 训练 Token 和 97.8% 词表大小。
研究指出,由于 EEG 信号固有变异性高,许多在常规机器学习领域有效的分布外(OOD)检测方法在运动想象脑机接口中失效,常导致模型对陌生类别做出盲目猜测。 Deep Ensemble 和 MC-Dropout 模型实现了任务内 AUROC > 0.9,且 OOD 检测能力可达 0.7;该研究提出了首个针对运动想象脑机接口的分布外检测基准。
QuantumEvo 框架将 LLM 用于生成感知量子电路成本(QCC)的 BDD 变量排序启发式,在基准测试中相对最优基线实现了 70.9% 的平局或胜率。 该框架演化出的 HGA-QE 启发式通过调整遗传算法内的 sifting 步骤对齐 QCC,并在 13.5% 的函数上取得严格最优。
BioSync 提出紧凑型 Transformer 跨模态融合架构,参数仅 1,119,INT8 量化后内存占用 1.3 kB。 该模型在 11 种合成生理机制和 5 个真实数据集上测试,最坏情况遗憾值为 0.034,优于 0.048-0.107 的基线。 研究实证了紧凑 Transformer 融合在连续可穿戴部署中的优势及简单基线仍具竞争力的场景。
研究发现,针对洛杉矶街景数据,编码器适配将区域地理定位准确率从 39.03% 提升至 75.94%-82.10%,显著优于冻结编码器。 实验显示,适配模型对场景构型扰动更敏感,预测切换率高达 42.92%-45.56%,而冻结方法仅为 10.79%-14.60%。 结果表明,编码器适配改善了邻近区域判别能力,且预测并非仅依赖粗粒度结构。
CADENCE 利用 BatchTopK 稀疏自编码器将超过 900 万个 ECG token 的 Layer-6 嵌入分解为 8,192 个稀疏心脏原子。 这些原子在临床表型和波形形态上的平均 AUROC 分别为 0.88 和 0.90,显著优于密集维度的 0.78 和 0.83。 该框架提供可扩展方法,用于发现并审计 ECG 基础模型中编码的生理知识。
基于Mamba的视觉模型中,精确Token擦除需依赖固定门控模式下的输入掩码与零权重读出,仅调节Delta参数不足以保证预测不变性。 LIDC-IDRI数据集上15个交叉验证模型显示,满足掩码条件时最大logit变化严格为0;门控视觉模型实现0.8425 AUROC,与非门控Mamba瓶颈持平。
该方法通过统一决策过程联合优化攻击时机和模态选择,在 CARLA 模拟器中使碰撞率翻倍。 这一研究揭示了时间一致性是自动驾驶安全的关键脆弱点。
VISTA 框架结合 V-JEPA 与 TinyLlama,在数字孪生交通环境中实现 97.77% 碰撞预测准确率。 路侧单元将视频转为紧凑嵌入,经 V2X 传输至车辆,相比原始 RGB 视频降低数个数量级通信负载。
summary_zh: XMimic 和 XSoma 能在不到一分钟内训练出人形机器人复杂动作,在四块 H100 GPU 上实现显著加速。 XMimic 用 0.86 分钟完成 LAFAN1 数据集 40 个动作的 G1 机器人跟踪,比 BlinkMimic 快 3.7 倍。
该研究提出提取并可视化生成视频模型中交叉注意力图的方法,基于开源 Wan 模型构建工具,以解读文本到视频生成中的时空注意力行为。 通过探索性探测和艺术案例研究,验证注意力图作为分析工具及原始艺术素材的潜力,拓展可解释 AI 在艺术领域(XAIxArts)的应用边界。
研究构建了 LLM 辅助框架,将非结构化事故叙述转化为结构化变量,用于结合人口、地点、时间及天气预测因素进行伤害严重性分析。
研究团队提出 Cross-Input Relative Policy Optimization(CrossRPO),用于训练基于对比数据集的视觉智能体,避免依赖常识作答。
研究人员提出Radar Panoptic Transformer (RPT),一种端到端点云网络,通过语义引导的掩码预测解决汽车雷达稀疏点云的全景分割挑战。 RPT在RadarScenes数据集上达到71.6% mIoU和82.2% PQ的SOTA性能,在MAN TruckScenes长距离全包围雷达设置中也优于基线,实现31 Hz实时推理。
该多模态框架融合第一人称 RGB 图像与 128 通道前臂 HD-sEMG,实现 20 个手指关节角度的连续回归。 视觉编码器与 EMG 编码器配合 DoF 查询 Transformer 解码器,为每个自由度分配独立可学习查询,实现自适应融合。 融合模型平均 R² 达 0.88,MAE 为 2.80°,优于单模态基线,并在视觉遮挡场景下展现更强鲁棒性。
在超高分辨率遥感问答任务中,将裁剪图像编码为64个token的紧凑视觉潜变量记忆,实现了7.6至9.9倍的裁剪token压缩。 该记忆策略使Qwen-VL在LRS-GRO基准上的准确率提升2.5至4.8个百分点,替换其他图像记忆会导致准确率下降5.8至7.4个百分点。 研究证实紧凑视觉潜变量能有效保留局部证据,且证据可用性是其贡献的关键决定因素。
VODA 提出一种即插即用的体积监督目标,通过利用局部深度结构直接监督所有高斯,解决了现有渲染视图训练因 alpha 混合导致的 3D 选择不完整问题。 该方法在 Removal-3D 基准测试中一致改善了体积分割效果,并在 LERF 和 ScanNet 上保持或提升性能,成功恢复了低贡献高斯。
WeVisForensics 提出了一种用于 AI 生成视频检测的自进化智能体框架,在域内、域外及智能体基准测试中平均检测准确率达 95.2%。 该框架包含双时间尺度策略优化 DTPO 和 ForenCue-30K 数据集,支持视觉与音频线索的协同检测,性能比最强先前检测器高出 9.0%。
提出 PlanDiv 动作头,利用潜在计划假设提升视觉语言动作模型测试时缩放效果。 轻量级规划器提出 K 个潜在计划假设,共享掩码扩散执行器解码动作块;仅在演示数据上训练,无需计划标签或奖励。 在 CALVIN ABC→D 五任务链上成功率从 56.9% 提升至 69.9%,LIBERO-Long 上 4 个计划消除 40% 单候选失败案例。
KneeFS-Net 是一种仅含 0.8M 参数的轻量级模型,在 OAI 测试集上 QWK 达 0.863。 模型在跨人群验证中无需额外训练,单中心医院队列 MAE 为 0.339,多中心远程影像队列为 0.522。 自监督预训练加微调后,交叉验证 QWK 提升至 0.823,证明其可在标注有限的新人群中进行有效适配。
该研究提出 FM-Recon 框架,将预训练基础模型的冻结图像编码器特征集成至反卷积重建网络,用于加速心脏电影 MRI 重建。 基于 CMRxRecon2023 数据集的实验表明,这种集成方法在中等加速因子下,能有效从含伪影的输入中提取信息表示,从而提升重建性能。 研究证明了基础模型特征在加速 MRI 重建中的应用潜力,并为将其有效整合到反卷积网络中提供了见解。
研究团队开发了专用多模态生成模型 FinVision,利用 87,940 对 MD&A 披露与股价图表数据,将财务叙事转化为市场动态视觉表征。 模型生成的图表优于直接 LLM 提示及通用文本到图像模型,且文本隐含图表与观测图表的偏差与后续较弱的投资者反应及经营结果相关。
Oriented Semi-DETR 针对旋转框参数映射的二义性提出解决方案,避免正确定位的学生框被回归损失惩罚或 GMM 过滤丢弃。 方法包含 Swap-aligned Target Selection、Swap-invariant Reliability Cost 及 Swap-aware Pseudo-label Denoising,均为无参数且无需额外前向传播。