跳到正文
arXiv · ML· Kyeong-Rae Kim, Sungnyun Kim, Tae-Hyun Oh·· 2026-10-09AI 评分33

FloorSAV:利用 2D 楼层图 elucidate 空间音频视觉上下文以增强 AV-LLMs

FloorSAV: Elucidating Spatial Audio-Visual Context with 2D Floormap for AV-LLMs

AI 导读

针对 AV-LLMs 缺乏显式机制处理全局几何的问题,论文提出 FloorSAV 框架,通过渲染动态 2D 楼层图显式构建空间音频视觉上下文。该框架整合 3D 点云、相机轨迹、空间音频线索及语义地标,将楼层图作为同步流注入模型,辅助多模态推理。

来源:arXiv · ML · arxiv.org