跳到正文
arXiv · AI· Jia Li, Yinfeng Yu·· 2026-10-14AI 评分27

针对动态视听导航的双阶段多模态学习框架

Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation

AI 导读

提出双阶段多模态学习框架用于动态视听导航,解决移动目标定位难题。该方法通过 IC GE 实现强度与几何物理对齐,结合 CMSA 聚合多模态特征。 实验在 Replica 和 Matterport3D 数据集上验证了该方法达到 SOTA 成功率,并在未知声音场景中显著提升了泛化能力与导航效率。

来源:arXiv · AI · arxiv.org