跳到正文
9月11日周四
  1. Hugging Face Blog78

    Hugging Face 升级 transformers 支持 OpenAI GPT-OSS 核心技巧

    Hugging Face 更新 transformers 库以支持 OpenAI 的 GPT-OSS 模型,引入了 MXFP4 量化、零构建内核下载、张量并行及专家并行等关键技术。

    推荐理由:Hugging Face 详细说明了 transformers 为支持 OpenAI GPT-OSS 模型而升级的核心技术,包括 MXFP4 量化、零构建内核、动态滑动窗口及张量并行等,这些改进可复用至其他主流模型。

9月10日周三
9月9日周二
  1. Hugging Face Blog55

    Hugging Face 发布 mmBERT:支持 1800 余种语言的多语言编码器

    Hugging Face 发布 mmBERT,这是基于 ModernBERT 架构改进的新一代多语言编码器模型。模型在 3T 多 token 数据上训练,覆盖 1800 多种语言,在 XTREME 和 MTEB 基准上显著优于 XLM-R,推理吞吐量提升 2-4 倍。官方提供了模型权重、代码示例及微调教程,支持向 Sentence Transformers 和 PyLate 等生态兼容。

9月6日周六
8月14日周四
  1. Hugging Face Blog36

    Kimina Prover 开源 Lean 4 形式化定理证明训练流水线及模型

    Hugging Face 团队开源了基于 DeepSeek-R1 范式且兼容 Verl 的 Kimina Prover RL 训练流水线。该流水线发布了 1.7B 和 0.6B 两个参数规模的模型,二者在 MiniF2F 基准测试中分别取得 76.63% 和 71.30% 的 Pass@32 成绩。这两个模型均刷新了相应参数量级开源模型在 Lean 4 形式化定理证明任务上的性能纪录。

8月8日周五
  1. Hugging Face Blog78

    Hugging Face 发布 AI Sheets 开源工具

    Hugging Face 发布开源工具 AI Sheets,用于使用开放 AI 模型构建、丰富和转换数据集。该工具支持本地部署或部署在 Hugging Face Hub,可接入 Hub 上数千个开放模型。其提供无代码操作界面,用户可通过编辑和验证单元格向模型提供反馈,并可将最终结果导出回 Hub。

    推荐理由:原文明确指出AI Sheets是一个可本地部署的开源工具,并给出了免费使用入口和核心功能,便于读者评估其在数据工作流中的实际作用。

8月5日周二
  1. Hugging Face Blog86

    OpenAI 发布 GPT OSS 开源模型:117B 与 21B 两款 MoE 模型

    OpenAI 发布 GPT OSS 系列开源模型,包括 gpt-oss-120b(117B 参数)和 gpt-oss-20b(21B 参数)。两款均为 MoE 架构,采用 MXFP4 4-bit 量化;120B 模型可运行在单张 80GB H100 上,20B 模型仅需 16GB 显存。

    推荐理由:两个模型都采用 MoE 加 4-bit 量化,小模型 21B 可跑在 16GB 硬件上,Apache 2.0 许可让社区能直接复用与微调。

7月29日周二
7月17日周四
7月10日周四
7月9日周三
7月8日周二
  1. Hugging Face Blog73

    Hugging Face 发布完全开源的 SmolLM3 模型

    Hugging Face 发布 3B 参数规模的 SmolLM3 模型,包括 Base 和 Instruct 两种变体,完全开源模型权重、架构细节和三阶段预训练配方。

    推荐理由:Hugging Face 发布并完全开源 SmolLM3 模型及完整训练配方,为构建同类 3B 模型提供了可复现的工程蓝图。

6月3日周二
3月28日周五
3月20日周四
3月19日周三
3月18日周二
3月12日周三
3月7日周五
3月4日周二
  1. Hugging Face Blog69

    Cohere 发布 Aya Vision 8B 与 32B 多语言视觉模型

    Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。

    推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。

2月21日周五
  1. Hugging Face Blog75

    Google 发布 SigLIP 2 多语言视觉语言编码器

    Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。

    推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。

2月19日周三
  1. Hugging Face Blog66

    Google 发布 PaliGemma 2 Mix 多任务指令视觉语言模型

    Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。

    推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。

2月18日周二
2月14日周五
7月24日周三
  1. Mistral AI85

    Mistral 发布 Large 2 模型,123B 参数支持 128k 上下文及增强推理能力

    Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。

    推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。

6月5日周三
  1. Mistral AI29

    Mistral AI 微调黑客马拉松:新 API 测试与项目展示

    Mistral AI 举办为期一个月的虚拟微调黑客马拉松,时间为 2024 年 6 月 5 日至 30 日。参赛者需使用其全新的微调 API 提交原创项目,前 3 名获奖者各获 €2,500 Mistral API 积分,部分入选者还可申请 $100 免费额度。评审标准涵盖影响力、技术实现、创意和展示四个维度,各占 25%,团队人数上限为 4 人。

5月29日周三
  1. Mistral AI68

    Mistral AI 推出非生产许可证 MNPL 并将 Codestral 纳入该许可

    Mistral AI 推出 Mistral 非生产许可证(MNPL),允许开发者将 Mistral 技术用于非商业用途和科学研究,并要求基于其技术开展业务的企业建立公平且可持续的合作关系。Codestral 于发布当日以 MNPL 许可证提供,而 Mistral 表示将逐步整合产品线,继续以 Apache 2.0 许可发布模型和代码。

    推荐理由:Mistral 推出限制商业生产使用的 MNPL 许可证并应用于 Codestral,同时保留 Apache 2.0 开源线,清晰划定了开放模型的商业化边界。

5月21日周二
4月29日周一
  1. Hugging Face Blog66

    StarCoder2-15B-Instruct 发布:开源完全透明的自对齐代码模型

    Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。

    推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。

4月2日周二
  1. Hugging Face Blog65

    Hugging Face 上线 Cloudflare Workers AI 无服务器 GPU 推理功能

    Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。

    推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。

3月22日周五
3月20日周三
  1. Hugging Face Blog76

    Cosmopedia:如何为预训练大语言模型创建大规模合成数据

    Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。

    推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。

3月18日周一
3月15日周五