Hacker News LLM· TokiRecur·· 12 小时前AI 评分55
TokiRecur：支持KV缓存回收的本地LLM启动器
TokiRecur – llama.cpp LLM launcher with KV-cache recycling
AI 导读
TokiRecur是支持KV缓存回收的本地LLM启动器，覆盖多种GPU和CPU运行后端。测试显示TTFT提升62%–96%，预填充吞吐量提升410%–1280%。
来源：Hacker News LLM · github.com
TokiRecur：支持KV缓存回收的本地LLM启动器