跳到正文
Hacker News LLM· vigmarcarlo·· 2026-10-05AI 评分37

OntoPrune:在 CPU 上修剪 85% 的 LLM 上下文 token 并提升 6.7 倍 TTFT

OntoPrune – Pruning 85% LLM context tokens and 6.7x TTFT on CPU

AI 导读

OntoPrune 是一款神经符号上下文修剪中间件,支持在 CPU 上修剪 85% 的 LLM 上下文 token,并将 TTFT 提升至 6.7 倍。 工具提供 MCP 服务器、CLI 及 Python API 三种模式,内置基于 tree-sitter 的多语言解析器,支持 Ollama 本地模型及代码合规性验证。

来源:Hacker News LLM · github.com