跳到正文
arXiv · NLP· Cai Ke, Xinghao Chen, Yuanchen Bei, Yuni Lai, Keyu Chen, Ruizhi Qiao, Siyu An, Junnan Dong, Ruifeng Xu, Xing Sun·· 6 小时前AI 评分21

LMMR:潜在多模态记忆推理框架

Latent Multimodal Memory Reasoning

AI 导读

提出LMMR,一种神经符号框架,将长期多模态记忆组织至连续潜在空间,解决原始多模态记忆纠缠异构问题。 框架将文本隐藏状态与视觉补丁特征映射至共享稀疏自编码器概念空间,动态构建轮级多模态记忆图。 在九个Mem-Gallery任务和十二个MemEye设置中,LMMR显著优于最先进基线。

来源:arXiv · NLP · arxiv.org