跳到正文
arXiv · ML· Muntaqim Ahmed Raju, Priyanka Siddappa, Md Shifat Haider Al Amin, Ruizhe Ma, Md Ripon Ahammed·· 10 天前AI 评分36

引导式协同注意力与自适应门控用于多模态医疗数据融合

Guided Co-Attention with Adaptive Gating for Multimodal Medical Data Fusion

AI 导读

提出引导式协同注意力与自适应门控(GCAG)多模态融合框架,在胸片与报告二分类任务中取得96.05%准确率、98.37% AUC。 框架通过双向交叉注意力构建图像-文本条件表征,并利用token级引导与样本特异性自适应门控动态加权,验证了交互方向与融合机制的互补收益。 研究发表于IEEE BIBM 2026,证明显式建模交互方向、token相关性及样本依赖性对多模态表征构建具有支撑作用。

来源:arXiv · ML · arxiv.org