Hugging Face Blog·· 2025-03-07AI 评分45
LLM 边缘推理指南:如何在手机上通过 React Native 运行大语言模型
LLM Inference on Edge: A Fun and Easy Guide to run LLMs via React Native on your Phone!
AI 导读
该教程指导用户利用 React Native 和 llama.cpp 的绑定(llama.rn)构建移动应用,以在本地运行 LLM。推荐使用 1-3B 参数量的模型(如 SmolLM2-1.7B-Instruct 或 Llama-3.2-1B-Instruct)并采用 Q4_0 或 K-Quants 等量化格式,以确保在移动端设备上的流畅运行和隐私保护。
来源:Hugging Face Blog · huggingface.co