跳到正文
arXiv · ML· Jinbin Luo, Xiaozhe Yao, Shang Yang, Zhijian Liu, Song Han, Qinghao Hu·· 17 小时前AI 评分25

TideCache:通过透明缓存管理与层间流式传输实现高效混合 LLM 服务

TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming

AI 导读

混合架构成为开源 LLM 主流,其缓存需求随上下文和并发度变化。TideCache 提出了一种针对 CPU-GPU 超级芯片的服务系统,通过透明缓存池、缓存流处理器和请求调度器来优化内存分配。

来源:arXiv · ML · arxiv.org