跳到正文
Hacker News AI· Corbenic·· 2026-10-09AI 评分37

galahad-kv 实现 50M Token 长时记忆存储

Long-Term Memory for AI:50M-Token Window,Is Faster,Cheaper Than Recompute

AI 导读

galahad-kv 包在 50M Token 文本测试中,实现 KV 状态 100% 无重算加载。 基于 Gemma 4 12B/31B 模型,块加载速度比重算快 2.8x-4.3x,GPU 能耗降低 8.8x-12.3x,且显存保持平稳。 该方案属于存储状态复用而非扩大注意力窗口,存储需 TB 级 NVMe 磁盘,单次写入成本固定。

来源:Hacker News AI · arxiv.org