跳到正文

开源生态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

8条精选相关主题模型发布Hugging FaceAI 编码

最新精选

第 1–8 条 · 共 8 条
今天10月3日周六
  1. Hacker News77

    ds4 发布:支持本地运行 DeepSeek V4 等前沿模型

    ds4 是由 antirez 发布的本地推理引擎,支持在 M5 Max 和 DGX Spark 等高显存设备上运行 DeepSeek V4、GLM 5.x 及 Qwen3.8 等模型。该引擎采用 2-bit 非对称量化压缩路由专家,并提供 CLI、本地 API 及原生 Agent 接口,支持将 KV 缓存持久化至 SSD 以加速恢复会话。

    推荐理由:提供了非通用引擎的窄化路径,展示了在特定高配硬件上运行前沿开源模型的量化细节与接口规范。

8月10日周一
3月17日周二
6月3日周二
7月24日周三
  1. Mistral AI75

    Mistral Large 2 发布:123B 参数、128k 上下文,性能对齐 GPT-4o 和 Claude 3 Opus

    Mistral 发布新模型 Mistral Large 2,123B 参数、128k 上下文窗口,MMLU 预训练版本达到 84.0%。Mistral 称其在代码和推理上表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当,并优化了指令跟随、减少模型幻觉。

    推荐理由:官方给出了 MMLU 84.0%、123B 参数、128k 上下文窗口和 la Plateforme 上的部署入口,可判断它与 GPT-4o、Claude 3 Opus 等模型在性价比上的位置。

7月18日周四
  1. Mistral AI63

    Mistral 发布 12B 参数多语言模型 Mistral NeMo,支持 128k 上下文窗口

    Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。

    推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。

10月3日周二
  1. Hugging Face Blog87

    Hugging Face Tokenizer 新增 chat_template 属性以解决聊天模型格式不匹配问题

    Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。

    推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。

9月29日周五