arXiv · AI· Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji·· 11 天前AI 评分29
Intent-Aware Caching:通过意图感知缓存提升 LLM 服务效率
Intent-Aware Caching for Efficient LLM Serving
AI 导读
基于真实工作负载分析,提出 Intent-Aware Caching (IAC) 在线驱逐策略,显著提升 LLM 服务缓存命中率。 IAC 将请求按意图分类并学习轻量级重用统计,WildChat 和 ShareChat 评估中缓存命中率达 34.6%,平均服务延迟降低最多 46.1%。
来源:arXiv · AI · arxiv.org