开源工具Strot发布：本地运行LLM编译决策

1. 12:32
   Hacker News LLM

   Strot 发布：将 LLM 意图编译为本地决策模型

   Strot 是一个开源决策编译器，允许开发者将 LLM 意图编译为本地决策模型。该工具在编译阶段一次性使用 LLM 生成冻结的 Python 制品，运行阶段则使用 144M 参数量的本地模型进行零边际成本的决策路由。基准测试显示，编译后的模型在路由准确率上比原始模型高 18 个百分点，单次推理耗时约 60 毫秒。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。