arXiv · ML· Aditya Chatterjee, Sanjay Singh Chauhan, Mayank Jain, Arushi Dhingra, Sahin Chowdhury, Rahul Mittal·· 3 天前AI 评分28
Nemotron 3.5 Transcribe 高吞吐推理服务:自适应核融合与巨核优化
High-Throughput Serving of Nemotron 3.5 Transcribe with Regime-Aware Megakernels and Kernel Fusion
AI 导读
Nemotron 3.5 Transcribe 开源语音识别模型的高吞吐推理引擎在 H100 SXM 上峰值达 4,345x 实时,是调优 vLLM 的 1.39 倍,B200 上峰值 6,367x。
来源:arXiv · ML · arxiv.org