arXiv · AI· Terry Tan·· 7 天前AI 评分23
MusicRWKV:基于 RWKV 的多模态音乐表示学习框架
MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning
AI 导读
提出 MusicRWKV 框架,基于 RWKV 架构联合建模波形、频谱图和元数据,解决长时音乐建模中 Transformer 架构的高计算内存开销。 引入可逆压缩模块降低序列长度并保留重构能力,采用基于 FiLM 的条件策略实现模态感知表示学习,避免昂贵的交叉注意力操作。 实验评估显示该架构在多种音乐信息检索(MIR)基准上有效,Soft ROSA 作为可微检索机制提升了验证性能。
来源:arXiv · AI · arxiv.org