arXiv · ML· Yusuf Shihata·· 7 天前AI 评分21
分解式 JEPAs 实现非对称多模态学习
Asymmetric Multimodal Learning with Decomposed JEPAs
AI 导读
提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。
来源:arXiv · ML · arxiv.org