arXiv · AI· Ziv Kfir, Ido Kfir·· 2 天前AI 评分42
KV-LTM:作为个人助理长期记忆的持久化每会话 KV 缓存
KV-LTM: Persistent Per-Session KV Caches as Long-Term Memory for Personal Assistants
AI 导读
KV-LTM 提案将原始文本及其 KV 缓存存入固定读者模型层,通过恢复缓存并追加问题来响应,避免重新计算。 在 30K token/天的场景下,每用户年存储约 0.34-3.6 TB,原始文本仅约 49 MB,相比检索和索引系统具有互补性。 该系统通过存储换取避免重新预填充计算和写入保真度,并在规定的保留预算内运行。
来源:arXiv · AI · arxiv.org