arXiv · ML· Jinbin Luo, Xiaozhe Yao, Shang Yang, Zhijian Liu, Song Han, Qinghao Hu·· 17 小时前AI 评分25
TideCache:通过透明缓存管理与层间流式传输实现高效混合 LLM 服务
TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming
AI 导读
混合架构成为开源 LLM 主流,其缓存需求随上下文和并发度变化。TideCache 提出了一种针对 CPU-GPU 超级芯片的服务系统,通过透明缓存池、缓存流处理器和请求调度器来优化内存分配。
来源:arXiv · ML · arxiv.org