arXiv · ML· Baran Atalar, Selly Beyene, Xutong Liu, Carlee Joe-Wong·· 7 小时前AI 评分35
低成本 LLM 服务中的多轮语义缓存
Multi-Turn Semantic Caching for Low-Cost LLM Serving
AI 导读
多轮对话中复用嵌入相似度预测缓存可接受性表现不佳（AUC 0.62-0.74）。 CUCB-SC-MT 和 CLCB-LS-MT 基于判决反馈学习复用风险，1000 条缓存下避免 35-41% 生成成本，降低 19-35% 服务延迟。
来源：arXiv · ML · arxiv.org