跳到正文
1月2日周一
11月21日周一
11月8日周二
11月2日周三
10月14日周五
10月12日周三
9月27日周二
9月7日周三
8月19日周五
8月18日周四
8月17日周三
  1. Hugging Face Blog88

    Hugging Face 团队详解 LLM.int8() 实现大型语言模型 8-bit 矩阵乘法的原理与实践

    Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。

    推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。

8月12日周五
  1. Hugging Face Blog42

    Hugging Face 的 TensorFlow 技术哲学

    Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。

8月11日周四
  1. Hugging Face Blog40

    使用 TF Serving 在 Kubernetes 上部署 ViT 模型

    文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。

8月3日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Private Hub,支持私有化部署机器学习开发环境

    Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。

    推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。

7月27日周三
  1. Hugging Face Blog65

    使用 XLA 加速 Hugging Face TensorFlow 文本生成

    Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。

    推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。

7月25日周一
7月14日周四
  1. Hugging Face Blog62

    BLOOM 176B 模型训练技术揭秘:Megatron-DeepSpeed 与并行化实践

    BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。

    推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。

6月28日周二
6月22日周三
6月15日周三
5月26日周四
5月10日周二
3月16日周三
1月25日周二
1月11日周二
11月19日周五
  1. Hugging Face Blog27

    Intel 技术加速 PyTorch 分布式微调

    在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。

11月4日周四
9月14日周二
  1. Hugging Face Blog34

    Hugging Face 开源发布 Optimum:针对大规模 Transformer 的优化工具包

    Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。

7月8日周四
5月25日周二
4月20日周二
4月16日周五
4月8日周四
3月23日周二
3月18日周四
3月12日周五
2月9日周二
1月26日周二
1月25日周一
1月19日周二