跳到正文
Hacker News AI· Corbenic·· 9 天前精选AI 评分77

Corbenic 发布 Galahad:支持 5000 万 token 窗口的 AI 长期记忆层

Show HN: Try Free Long-Term Memory for AI 50M-Token Window

AI 导读

Corbenic 开源并上架 Galahad,一个嵌入 llama.cpp、vLLM 和 SGLang 的 AI 记忆层。核心组件 Taliesin 将模型 KV 缓存保存到磁盘并恢复,官方称 99.6% 的 token 来自内存复用时命中;文档检索组件 Blaise 保留字节级原文,实测在 100 题中全部答对,而 RAGFlow 同题只有 77 题。

推荐理由

作者给出了 KV 缓存复用、50M token 窗口和多租户共享的实测数字,读者可以据此评估它在现有推理栈里的接入成本与收益。

来源:Hacker News AI · github.com