arXiv · NLP· Yichi Zhang, Zhuo Chen, Lingbing Guo, Wen Zhang, Huajun Chen·· 5 小时前AI 评分27
TOFU：构建基于细粒度可迁移多模态 Token 的知识图谱基础模型
Every Little Helps: Building Knowledge Graph Foundation Model with Fine-grained Transferable Multi-modal Tokens
AI 导读
TOFU 提出了一种基于 token 的知识图谱基础模型，通过离散化结构、视觉和文本信息为模态特异性 token，实现了在 17 个多模态知识图谱上的强泛化性能。 该模型采用层级融合架构和混合消息机制处理多模态 token，在 transductive、inductive 和 fully-inductive 设置下均优于现有的知识图谱基础模型和多模态知识图谱推理基线。
来源：arXiv · NLP · arxiv.org