utsav1033展示2.9KB的C语言LLM推理引擎

开发者utsav1033在Hacker News展示了一个名为“bytesized”的C语言LLM推理引擎。该引擎可运行SmolLM2-135M模型，并生成与Hugging Face transformers完全一致的贪心token结果，展示了极小化程序运行真实大语言模型的可能性。 据后续报道，该引擎的编译后二进制文件大小仅为2,946字节，且专门针对Linux arm64架构进行优化。其技术实现依赖于原始系统调用和汇编解包器，无需额外的转换工具即可直接读取原始的model.safetensors和tokenizer.json文件，进一步验证了其极致轻量级的设计。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。