Hugging Face 就白宫 AI 行动计划征求公众意见
Hugging Face 向白宫科学和技术政策办公室提交回复,主张开源 AI 系统对技术进步至关重要。文中指出 OLMo 2 模型在匹配 o1-mini 性能的同时开放了训练数据,并建议优先支持开放基础设施与高效模型以提升安全性。
Hugging Face 向白宫科学和技术政策办公室提交回复,主张开源 AI 系统对技术进步至关重要。文中指出 OLMo 2 模型在匹配 o1-mini 性能的同时开放了训练数据,并建议优先支持开放基础设施与高效模型以提升安全性。
NVIDIA 在 GTC 2025 大会上发布了三项开源成果:Cosmos Transfer 世界基础模型、15TB 物理 AI 数据集以及通用类人推理模型 Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 开源了 Cosmos Transfer 与 Isaac GR00T N1 模型及数据集,为开发者提供了训练具身智能体的完整工具链。
Hugging Face 发布 Open R1 Update #3,公布从 DeepSeek-R1 蒸馏得到近 10 万条高质量 C++ 与 Python 代码推理样本的 CodeForces-CoTs 数据集,并发布基于 IOI 的新基准。
推荐理由:给出了代码推理复现的细节与 7B、32B 模型结果,可参考训练策略与评测方法。
该教程指导用户利用 React Native 和 llama.cpp 的绑定(llama.rn)构建移动应用,以在本地运行 LLM。推荐使用 1-3B 参数量的模型(如 SmolLM2-1.7B-Instruct 或 Llama-3.2-1B-Instruct)并采用 Q4_0 或 K-Quants 等量化格式,以确保在移动端设备上的流畅运行和隐私保护。
Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。
推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。
Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。
推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。
Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。
推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 Serverless 推理提供商,扩展现有 Together AI 等供应商体系。
Hugging Face 宣布 Fireworks.ai 成为 Hub 支持的推理提供商,支持在模型页面及 HF 生态中直接进行无服务器推理。目前可通过 Fireworks.ai 运行 DeepSeek-R1、DeepSeek-V3、Llama-3.2-90B-Vision-Instruct 等模型,用户可使用 huggingface_hub 库或 API 进行调用。
Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的 3751 个模型,解决了旧评估器对答案提取和解析的缺陷。更新后,模型平均多解决 61 题,Qwen 和 DeepSeek 模型的数学得分分别翻倍和接近三倍。Nvidia 的 AceMath 模型现居 MATH-Hard 榜单首位。
Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。
推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。
Mistral AI 举办为期一个月的虚拟微调黑客马拉松,时间为 2024 年 6 月 5 日至 30 日。参赛者需使用其全新的微调 API 提交原创项目,前 3 名获奖者各获 €2,500 Mistral API 积分,部分入选者还可申请 $100 免费额度。评审标准涵盖影响力、技术实现、创意和展示四个维度,各占 25%,团队人数上限为 4 人。
Mistral AI 推出 Mistral 非生产许可证(MNPL),允许开发者将 Mistral 技术用于非商业用途和科学研究,并要求基于其技术开展业务的企业建立公平且可持续的合作关系。Codestral 于发布当日以 MNPL 许可证提供,而 Mistral 表示将逐步整合产品线,继续以 Apache 2.0 许可发布模型和代码。
推荐理由:Mistral 推出限制商业生产使用的 MNPL 许可证并应用于 Codestral,同时保留 Apache 2.0 开源线,清晰划定了开放模型的商业化边界。
Hugging Face 与 Microsoft 宣布深化战略合作,在 Azure 上扩展开放模型支持并提升部署体验。
Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。
推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。
Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。
推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。
推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。
Hugging Face 发布在 Intel Meteor Lake 笔记本上运行 Phi-2 的方案,使用 Intel OpenVINO 和 Optimum Intel 对 microsoft/phi-2 做4-bit 权重量化,再运行在搭载 Core Ultra 7 155H 的中端笔记本上。
Hugging Face 与 NVIDIA 联合推出 Train on DGX Cloud 服务,允许 Enterprise Hub 用户通过无代码界面在 Hugging Face Hub 上微调 Llama、Mistral 等模型。该服务提供 NVIDIA H100 GPU 算力,按小时计费为 $8.25,支持 1 至 8 块实例配置,训练后的模型将自动上传至私有仓库。
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Hugging Face 为 Text Generation Inference 推出 Messages API,使 TGI 1.4.0 起兼容 OpenAI Chat Completion API。
推荐理由:提供 TGI 对齐 OpenAI 的接入细节与示例,读者可据此把现有客户端代码迁移到自托管开源 LLM。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Hugging Face 推出基于 Masked Image Model (MIM) 的非扩散文生图模型 aMUSEd。该模型仅含约 800M 参数,推理速度较快,支持通过 LoRA 在 7GB 显存下微调。aMUSEd 采用开放许可,可作为 diffusers 中首个非扩散系统,用于零样图像修复及风格迁移探索。
Hugging Face 回顾了 2023 年开源 LLM 的发展,强调开放模型促进研究可复现性与社区参与。2022 年开源模型遵循“规模竞赛”范式,包括 BigScience 发布的 BLOOM 系列,最大模型为 176B 参数,在 46 种人类语言和 13 种编程语言上训练;Meta 发布 OPT 系列,最大模型 175B 参数,性能接近 GPT-3。
Mistral AI 开放了首个平台服务的 beta 权限,提供三个文本生成端点和一个嵌入端点。Mistral-tiny 端点基于 Mistral 7B Instruct v0.2,Mistral-small 基于 Mixtral 8x7B,Mistral-medium 基于原型模型,三者分别在 MT-Bench 上取得 7.6、8.3 和 8.6 分。
推荐理由:Mistral AI 开放了首个平台服务 beta 权限,并给出了三个推理端点与嵌入端点的基准表现,方便开发者对比选择。
Hugging Face 发布教程,演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder,使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由:原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程,并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
Hugging Face 推出针对企业的端到端代码助手解决方案 SafeCoder,提供自托管部署,基于 StarCoder 模型构建,支持 NVIDIA、AMD 等硬件加速推理,确保代码在训练和推理过程中不离开客户 VPC,解决合规与安全问题。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 举办首届开源 AI 游戏 Jam,收到 88 款游戏提交,最终由 ohmlet 团队开发的《Snip It》获得冠军。参赛作品主要集成 Stable Diffusion、GPT-4 等开源工具,主题定为“EXPANDING”,评测标准涵盖趣味性、创造力及主题契合度。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
Informer 模型现已在 Hugging Face Transformers 中可用,支持基于独立发射分布的多元概率时间序列预测。 该模型引入 ProbSparse attention 将自注意力计算复杂度降至 O(T log T),并通过 Distilling 操作将堆叠层的内存占用优化为 O(N·T log T)。
Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。