跳到正文
arXiv · AI· Keisuke Kamahori, Rohan Kadekodi, Garv Ghai, Wei-Tzu Lee, Atindra Jha, Stephanie Wang, Arvind Krishnamurthy, Baris Kasikci·· 17 天前AI 评分28

VoxServe:面向语音语言模型的流式中心化服务系统

VoxServe: Streaming-Centric Serving System for Speech Language Models

AI 导读

summary_zh: VoxServe 提出了一种将 LLM 骨干与语音编解码器重叠运行在不同 GPU 分区上的 SpeechLM 服务架构。 该系统通过三条异步执行通道按数据块紧急程度调度,在 Qwen3-TTS 上实现 200ms TTFA 目标下请求速率提升 1.5 倍。

来源:arXiv · AI · arxiv.org