跳到正文
Hacker News AI· pjmlp·· 7 天前AI 评分50

Google 开源 XSE 引擎,移除 Python 解释器以提升 AI 推理性能

Google gooses Python AI performance by... removing Python

AI 导读

Google 新开源 XLA Serving Engine (XSE) 通过移除 Python 解释器,在 YouTube Shorts、广告等场景处理超 600 万次每秒查询。相比优化后的 Python 服务器,XSE 吞吐量提升 2-5 倍,内存占用仅为四分之一。该引擎支持 GPU、CPU 及 TPU,旨在解决短请求高 QPS 场景下的延迟瓶颈。

来源:Hacker News AI · theregister.com