arXiv · AI· Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang·· 5 小时前AI 评分22
AC-JEPA：锚定跨模态联合嵌入预测架构用于视觉到符号翻译
AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation
AI 导读
研究提出AC-JEPA，一种兼容SFT的插件，通过预测掩码中间状态实现跨模态翻译，对不完美伪标签数据具有容错性。 在WildMol基准的Simple集上，使用干净数据时AC-JEPA准确率为76.07%，超过纯SFT的67.40%；使用相同伪标签数据时，AC-JEPA自训练将准确率提升至80.23%，而直接SFT则从67.40%降至63.47%。
来源：arXiv · AI · arxiv.org