arXiv · AI· Shubham Gupta, Siva Reddy, Perouz Taslakian, Valentina Zantedeschi, Cem Subakan·· 5 小时前AI 评分23
通过单纯形约束表示关闭多模态间隙
Closing the Modality Gap via Simplex-Constrained Representations
AI 导读
该研究提出将多模态嵌入域从单位球面更改为概率单纯形,利用非负、单位质量约束实现跨模态校准。 在五个多模态检索基准测试中,该方法将质心 L2 间隙减少 97-99%,检索性能匹敌或超过标准无约束模型。
来源:arXiv · AI · arxiv.org