跳到正文
9月4日周四
8月21日周四
8月18日周一
7月29日周二
7月25日周五
  1. Hugging Face Blog44

    Hugging Face CLI 正式更名为 hf 并推出 Jobs 服务

    Hugging Face 宣布将 CLI 工具正式从 huggingface-cli 更名为 hf,旨在优化命令结构以提升可用性。新 CLI 遵循统一语法规范,并同步推出了 hf jobs 服务。该服务允许用户在 Hugging Face 基础设施上按需运行脚本或 Docker 镜像,采用秒级计费模式,目前仅面向 Pro 用户及 Team 或 Enterprise 组织开放。

7月23日周三
7月22日周二
7月9日周三
6月23日周一
6月12日周四
6月4日周三
3月28日周五
3月24日周一
  1. Hugging Face Blog32

    Gradio 发布新版 Dataframe 组件

    Hugging Face 发布的 Gradio 更新了 Dataframe 组件,最近 6 周内修复了超过 70 个问题。新功能包括多单元格选择、行号显示、列固定、复制按钮、全屏模式、顶部滚动、无障碍性改进、增强的样式控制、行/列选择、静态列以及搜索和过滤功能。用户可通过 `pip install --upgrade gradio` 安装最新版本。

3月18日周二
  1. Hugging Face Blog75

    Hugging Face Xet 存储正式接入 Hub

    Hugging Face 官方宣布 Xet 存储架构正式在 Hub 上线,并于 2 月 20 日完成首批约 6% 下载流量、总计 4.5TB 模型与数据集仓库的迁移。

    推荐理由:Xet 存储正式接入 Hugging Face Hub 并完成首批 4.5TB 仓库迁移,其内容寻址分块机制让多 GB 级模型更新上传耗时从小时级降至秒级。

2月13日周四
  1. Hugging Face Blog45

    Hugging Face 大规模分类与嵌入推理成本优化指南

    Hugging Face 博客提供框架用于计算单日 10 亿次以上分类或嵌入任务的推理成本。案例显示在 nvidia-L4 硬件上处理 10 亿次分类请求成本为 $253.82,嵌入为 $409.44,视觉嵌入高达 $44,496.51。通过调整 INFINITY_BATCH_SIZE 和 VUs 等参数并水平扩展 GPU 副本,可优化高吞吐量下的成本效率。

2月12日周三
12月17日周二
5月21日周二
5月16日周四
5月9日周四
5月1日周三
  1. Hugging Face Blog36

    Hugging Face Inference Endpoints 实现 Whisper ASR 与说话人分离及推测解码

    Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。

4月16日周二
4月10日周三
  1. Hugging Face Blog43

    Hugging Face 与 Google Cloud 合作将数千个开源 LLM 接入 Vertex AI Model Garden

    Hugging Face 推出 Google Cloud 集成,允许将数千个开源基础模型通过 Vertex AI 或 GKE 部署。支持带有“text-generation-inference”标签的模型,开发者可一键生成生产级 API 端点。数百个热门开源 LLM 提供预配置硬件方案,无需管理基础设施即可在 Google Cloud 环境中构建生成式 AI 应用。

4月3日周三
4月2日周二
  1. Hugging Face Blog65

    Hugging Face 上线 Cloudflare Workers AI 无服务器 GPU 推理功能

    Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。

    推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。

3月22日周五
3月20日周三
3月18日周一
3月15日周五
2月29日周四
2月21日周三
  1. Hugging Face Blog94

    Google 发布 Gemma 开源大语言模型

    Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。

    推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。

2月19日周一
  1. Hugging Face Blog59

    PEFT 新增 LoRA 适配器合并方法

    PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。

2月1日周四
1月30日周二
1月14日周日
12月5日周二
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布:通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。

  2. Hugging Face Blog65

    AMD 与 Hugging Face 合作实现 AMD GPU 开箱即用的大语言模型加速

    Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。

    推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。

  3. Hugging Face Blog41

    Hugging Face 如何实现 LoRA 推理速度提升 300%

    Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。