arXiv · ML· RuiLong Jiang, Dustin Rhodes, Danny McCormick, Yuta Labur, Reza Rokni·· 8 小时前AI 评分26
Google Cloud Dataflow 加速混合流式机器学习推理
Accelerated Dataflow: scaling inference in streaming data analytics with efficiency
AI 导读
该系统通过异构工作池自动扩缩容与前缀感知批处理，实现 1.5 至 2 倍吞吐量提升，并在保持延迟稳定的同时实现资源与尾延迟显著优化。 具体性能表现为峰值资源节约 75%，峰值尾延迟降低 84%，显著优于现有流式数据系统。
来源：arXiv · ML · arxiv.org