跳到正文
arXiv · AI· Yiyang Zhu, Guangyuan Liu, Jingdi Lei, Li Wei, Chau Yuen·· 13 小时前AI 评分38

多模态对齐中重新思考物理事件:从点到轨迹

From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events

AI 导读

论文指出主流多模态对齐架构通过压缩时序生成单点嵌入,导致无法区分相同条件下的孪生物理事件。 作者证明时序池化表示随序列增长收敛至稳态,并提出轻量插件模块 CounterPoint。 CounterPoint 通过去除模态时序均值评分帧级跨模态一致性,在四种 SOTA 对齐器上超越现有方法。

来源:arXiv · AI · arxiv.org