跳到正文
3月22日周五
3月20日周三
3月18日周一
3月15日周五
2月29日周四
2月21日周三
  1. Hugging Face Blog94

    Google 发布 Gemma 开源大语言模型

    Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。

    推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。

2月19日周一
  1. Hugging Face Blog59

    PEFT 新增 LoRA 适配器合并方法

    PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。

2月1日周四
1月30日周二
1月14日周日
12月5日周二
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布:通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。

  2. Hugging Face Blog65

    AMD 与 Hugging Face 合作实现 AMD GPU 开箱即用的大语言模型加速

    Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。

    推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。

  3. Hugging Face Blog41

    Hugging Face 如何实现 LoRA 推理速度提升 300%

    Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。

11月7日周二
11月3日周五
  1. Hugging Face Blog27

    Hugging Face Hub 企业版推出存储区域功能

    Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。

10月24日周二
10月4日周三
10月3日周二
9月26日周二
9月19日周二
  1. Hugging Face Blog33

    Rocket Money 如何与 Hugging Face 协作在生产环境扩展波动 ML 模型

    Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。

9月15日周五
  1. Hugging Face Blog65

    Hugging Face 详解 LLM 生产环境优化策略

    Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。

    推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。

9月13日周三
9月12日周二
9月1日周五
  1. Hugging Face Blog26

    Fetch 使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%

    消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。

8月28日周一
8月23日周三
  1. Hugging Face Blog60

    Hugging Face 在 Transformers 中整合 AutoGPTQ 实现大模型轻量化

    Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。

    推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。

8月9日周三
  1. Hugging Face Blog32

    使用 BentoML 部署 Hugging Face 模型:DeepFloyd IF 实战

    本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。

8月4日周五
5月15日周一
5月11日周四
4月27日周四
4月17日周一
3月28日周二
2月15日周三
2月6日周一
1月30日周一
1月24日周二
1月17日周二