arXiv · ML· Maharani A. P. Irawan, Kuntai Du, Jiayi Yao, Dongjoo Seo, Yuyang Huang, Haryadi S. Gunawi, Junchen Jiang·· 4 小时前AI 评分25
Gandalf：首个具备 SSD 寿命感知能力的 KV Cache 卸载系统
Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
AI 导读
Gandalf 是首个具备 SSD 寿命感知能力的 KV Cache 卸载系统，旨在延长存储寿命。 该系统通过优先将全注意力 KV Cache 写入 SSD，平均延长 SSD 寿命 7.3 倍，且对缓存命中率影响极小。
来源：arXiv · ML · arxiv.org