Hacker News LLM· solohunter001·· 8 小时前AI 评分55
Strot 发布：将 LLM 意图编译为本地决策模型
Show HN: Strot – Compile an LLM's intent once, run decisions locally
AI 导读
Strot 是一个开源决策编译器，允许开发者将 LLM 意图编译为本地决策模型。该工具在编译阶段一次性使用 LLM 生成冻结的 Python 制品，运行阶段则使用 144M 参数量的本地模型进行零边际成本的决策路由。基准测试显示，编译后的模型在路由准确率上比原始模型高 18 个百分点，单次推理耗时约 60 毫秒。
来源：Hacker News LLM · github.com