跳到正文
arXiv · ML· Yusuf Shihata·· 7 天前AI 评分21

分解式 JEPAs 实现非对称多模态学习

Asymmetric Multimodal Learning with Decomposed JEPAs

AI 导读

提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。

来源:arXiv · ML · arxiv.org