Deepgram 如何利用 AWS Trainium 实现规模化语音 AI 优化

Deepgram 将 Nova-3 语音转写模型移植至 AWS Trainium2，单实例运行 8 个模型副本，批量处理音频成本降低 11–70%。 采用 TorchNeuron 编译消除 CPU 回退，替换 NKI 内核并微调 FFN 与卷积层，在 batch size 96 时实现 2.0 倍至 50 倍速度提升。