arXiv · AI· Xingyu Qu, Siyuan Lu, Zhiyu Chen, Sheng Wang, Tao Lin·· 8 小时前AI 评分28
CacheBridge: 面向多模型 LLM 服务的跨模型 KV 高效传输
CacheBridge: Efficient Cross-Model KV Transfer for Multi-Model LLM Serving
AI 导读
该研究提出首个支持跨模型 KV 传输的异构服务系统 CacheBridge，通过将紧凑映射器与在线多模型服务协同优化，显著降低模型切换时的延迟与内存开销。 在 Qwen3 14B 到 32B 的代理服务场景中，系统在 1 到 24 QPS 下将平均首字延迟降低 30% 至 98%，任务成功率与重新预填充相当。
来源：arXiv · AI · arxiv.org