ds4 发布:支持本地运行 DeepSeek V4 等前沿模型
ds4 是由 antirez 发布的本地推理引擎,支持在 M5 Max 和 DGX Spark 等高显存设备上运行 DeepSeek V4、GLM 5.x 及 Qwen3.8 等模型。该引擎采用 2-bit 非对称量化压缩路由专家,并提供 CLI、本地 API 及原生 Agent 接口,支持将 KV 缓存持久化至 SSD 以加速恢复会话。
推荐理由:提供了非通用引擎的窄化路径,展示了在特定高配硬件上运行前沿开源模型的量化细节与接口规范。