跳到正文
11月7日周二
11月3日周五
  1. Hugging Face Blog27

    Hugging Face Hub 企业版推出存储区域功能

    Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。

10月24日周二
10月4日周三
10月3日周二
9月26日周二
9月19日周二
  1. Hugging Face Blog33

    Rocket Money 如何与 Hugging Face 协作在生产环境扩展波动 ML 模型

    Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。

9月15日周五
  1. Hugging Face Blog65

    Hugging Face 详解 LLM 生产环境优化策略

    Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。

    推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。

9月13日周三
9月12日周二
9月1日周五
  1. Hugging Face Blog26

    Fetch 使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%

    消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。

8月28日周一
8月23日周三
  1. Hugging Face Blog60

    Hugging Face 在 Transformers 中整合 AutoGPTQ 实现大模型轻量化

    Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。

    推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。

8月9日周三
  1. Hugging Face Blog32

    使用 BentoML 部署 Hugging Face 模型:DeepFloyd IF 实战

    本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。

8月4日周五
5月15日周一
5月11日周四
4月27日周四
4月17日周一
3月28日周二
2月15日周三
2月6日周一
1月30日周一
1月24日周二
1月17日周二
1月2日周一
11月21日周一
11月8日周二
11月2日周三
10月14日周五
10月12日周三
9月27日周二
9月7日周三
8月19日周五
8月18日周四
8月17日周三
  1. Hugging Face Blog88

    Hugging Face 团队详解 LLM.int8() 实现大型语言模型 8-bit 矩阵乘法的原理与实践

    Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。

    推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。

8月12日周五
  1. Hugging Face Blog42

    Hugging Face 的 TensorFlow 技术哲学

    Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。

8月11日周四
  1. Hugging Face Blog40

    使用 TF Serving 在 Kubernetes 上部署 ViT 模型

    文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。

最多提供 50 页,更早的内容请使用搜索或主题页。