arXiv · AI· Jaeyeon Kim, Sebastian Braun, Hannes Gamper·· 8 小时前AI 评分24
Spatial Transfusion:基于FOA统一框架实现空间音频理解、生成与编辑
Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing
AI 导读
论文提出 Spatial Transfusion,一个统一的 FOA 框架,将预训练空间音频理解模型扩展至生成与编辑。模型保持骨干网络冻结,引入基于模态的 LoRA 路由及课程学习策略。实验显示,该模型在保留空间理解能力的同时,其生成与编辑性能优于全量微调。
来源:arXiv · AI · arxiv.org