arXiv · ML· Xin Guo, Qiang Zhang, Xiang Zhou, Arushi Rai, Siyu Lin, Yifan Wu, Xiang Shen, Lei Huang, Qunshu Zhang, Xiangjun Fan, Lizhu Zhang·· 2 天前AI 评分35
KVUse:面向高效 LLM 推荐系统的可复用 KV 用户记忆框架
KVUse: Reusable-KV User Memory for Efficient LLM Recommenders
AI 导读
研究人员提出 KVUse 框架,通过将用户画像存储为可复用的 KV 缓存而非文本,解决了 LLM 推荐系统中重复预填充导致的性能瓶颈。 该方法利用自蒸馏训练的 LoRA 写入器生成 KV,并配合自定义调度器隐藏传输延迟。在 Llama-3.1-8B-Instruct 及 InstructRec 数据集测试中,系统吞吐量提升 4.0x-4.5x。
来源:arXiv · ML · arxiv.org