跳到正文
arXiv · AI· Yuyue Wang, Xihua Wang, Xin Cheng, Yijing Chen, Ruihua Song·· 9 天前AI 评分36

PlanAudio:基于自由文本提示的统一语音与声音生成框架

Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts

AI 导读

提出端到端框架 PlanAudio,无需中间预处理即可从非结构化自由文本直接生成统一的语音与声音混合音频。 该模型在单个自回归架构中集成潜在规划机制,先预测连续音频布局再生成声学 token,并构建了 Free-Form Unified Audio Generation Benchmark (FUAG) 评测集。

来源:arXiv · AI · arxiv.org