arXiv · AI· Xiangrui Yang, Yunfeng Zhao, Jiawei Yang, Fangyu Zhang, Enrui Zhao, Liang Zeng, Cheng Peng, Minhui Xie, Jiaqiang Liu, Xiao Liang, Yiming Qiu·· 10 天前AI 评分23
RecoGEM: 面向生产级生成式推荐的服务系统
RecoGEM: A Serving System for Production-Scale Generative Recommendation
AI 导读
RecoGEM 作为生产级生成式推荐服务系统,采用运行时与引擎解耦架构,解决 GR 在解码步骤与 LLM 服务栈间的结构性不匹配问题。 系统针对短 token 序列与大候选集优化执行引擎,支持 10 余个 GR 模型族,单实例 QPS 超 1000,P99 延迟低于 35ms,吞吐量较基线提升 2.88 倍。
来源:arXiv · AI · arxiv.org