跳到正文
arXiv · ML· Kai Zhao, Guilin Zhang, Xiang Cheng, Xiquan Cui, Henry Heng, Xu Chu, Alet Blanken·· 11 天前AI 评分26

CascadeRec:多租户内容推荐中已部署的自适应 LLM 算力分配系统

CascadeRec: Deployed Adaptive LLM Compute Allocation for Multi-Tenant Content Recommendation

AI 导读

CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。

来源:arXiv · ML · arxiv.org