arXiv · ML· Mahmoud Ashraf·· 8 小时前AI 评分25
Flash RNN-T：内存高效的 RNN-T 联合网络与 Transducer 损失计算
Flash RNN-T: Memory-Efficient Joint Network and Transducer Loss Computation
AI 导读
Flash RNN-T 提出结合专用内核与可选分块重计算的联合实现，解决了 RNN-T 训练中间张量内存占用大的问题。 在 H100 上，非分块 Flash 较最快基线吞吐量高 24-39% 且内存减少 26-56%；分块 Flash 内存进一步降低至基线的九分之一，吞吐量降低 16%。 该实现将在 Interspeech 2027 上提交，覆盖中等及长工作负载。
来源：arXiv · ML · arxiv.org