跳到正文
arXiv · AI· Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham·· 17 天前AI 评分30

MindEye2:共享主体模型仅需1小时fMRI数据即可实现脑成像到图像的转换

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

AI 导读

MindEye2通过共享主体模型,仅需1小时fMRI训练数据即可实现高质量视觉感知重建,优于单主体模型。 该模型预训练涵盖7个受试者,并将脑数据线性映射至共享潜在空间,再经非线性映射至CLIP图像空间。最后通过微调Stable Diffusion XL,将CLIP潜在表示转换为像素图像。 此方法支持单次MRI扫描完成高保真重建,实现了对被试间泛化能力的显著提升。

来源:arXiv · AI · arxiv.org