arXiv · ML· Liang Nathan Zheng, Jiyuan Liu, Wenhao Liang, Wei Emma Zhang, Weitong Chen, Lin Yue·· 6 小时前AI 评分20
TWIN-MoE：用于不完整多模态学习的两阶段专家内插补网络
TWIN-MoE: Two-stage Intra-Expert Imputation Network for Incomplete Multimodal Learning
AI 导读
TWIN 提出一种两阶段专家内插补框架，解决现有 MoE 方法在处理缺失模态时扩展性差或检索成本高的问题。 该方法通过预插补生成上下文条件估计并径向软裁剪，以及后插补聚合专家条件观察表示，实现了更紧的重建误差界。 在四个缺失模态基准测试中，TWIN 取得了 SOTA 性能，且参数量远少于其他基于 MoE 的插补方法。
来源：arXiv · ML · arxiv.org