Hacker News AI· henriquegogo·· 15 小时前AI 评分46
Lowvram 发布:CLI 工具助力低显存 GPU 运行大型 AI 模型
Lowvram: A CLI tool to run large AI models in low VRAM GPUs
AI 导读
summary_zh: 开源 CLI 工具 Lowvram 通过拦截 CUDA 内存调用,让低显存 GPU 能运行大型 AI 模型。在 RTX 3060 上运行 YuE2 时,其生成速度达到 43.1 tokens/s,是标准加速方式的 23 倍。
来源:Hacker News AI · soarhen.com