跳到正文
arXiv · NLP· Rahul Maliakkal, Yashasvi Makin, Plawan Rath, Rohit Jain, Ankur Sadhoo·· 11 天前AI 评分26

资源受限边缘设备上的大语言模型部署:从业者调查

Large Language Model Deployment on Resource-Constrained Edge Devices: A Practitioners Survey

AI 导读

大语言模型因高资源需求限制其边缘设备部署。 最近的软件优化和专用硬件创新使得在边缘设备部署LLM成为可能,带来本地数据处理、成本节约和低延迟等优势。 本文综述了使LLM边缘部署可行的最新技术。

来源:arXiv · NLP · arxiv.org