Hacker News LLM· vigmarcarlo·· 2026-10-05AI 评分37
OntoPrune:在 CPU 上修剪 85% 的 LLM 上下文 token 并提升 6.7 倍 TTFT
OntoPrune – Pruning 85% LLM context tokens and 6.7x TTFT on CPU
AI 导读
OntoPrune 是一款神经符号上下文修剪中间件,支持在 CPU 上修剪 85% 的 LLM 上下文 token,并将 TTFT 提升至 6.7 倍。 工具提供 MCP 服务器、CLI 及 Python API 三种模式,内置基于 tree-sitter 的多语言解析器,支持 Ollama 本地模型及代码合规性验证。
来源:Hacker News LLM · github.com