Hugging Face Blog·· 2023-05-15AI 评分30
如何在单张AMD GPU上用ROCm运行Vicuna 13B模型
Run a Chatgpt-like Chatbot on a Single GPU with ROCm
AI 导读
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
来源:Hugging Face Blog · huggingface.co