跳到正文
arXiv · AI· Ren\'ee St. Amant, Anjaly Parayil, Ankur Mallick, Victor R\"uhle·· 11 天前AI 评分37

生成式 AI 推理服务中的资本效率、隔离、风险与崩溃

Capital Efficiency, Isolation, Risk, and Ruin in Generative AI Inference Serving Infrastructure

AI 导读

该研究探讨生成式 AI 推理服务中工作负载隔离作为提升资本效率的基础机制,利用生产数据阐明其动机。 隔离通过重组请求至不同设备集群,避免高成本请求拉高整体运营成本,为定制化优化和硅片设计提供基础。

来源:arXiv · AI · arxiv.org