Spatial Transfusion 统一空间音频框架发布

2026年11月3日，arXiv平台发布论文《Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing》。该论文由Jaeyeon Kim等人提出，旨在通过统一框架扩展空间音频理解模型。 该框架基于FOA，利用预训练空间音频理解模型，结合VAE潜空间上的流匹配技术，将模型能力扩展至生成与编辑领域。模型结构上保持骨干网络冻结，以降低计算成本并保留原有特征。 技术实现上，研究者引入了基于模态的LoRA路由及课程学习策略。课程逐步添加生成、编辑和自然语言交互功能。实验结果显示，该模型在保持空间理解能力的同时，生成与编辑性能优于全量微调。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。