跳到正文
9月26日周二
9月22日周五
  1. Hugging Face Blog64

    Hugging Face 上线 Inference for PROs:PRO 用户可加速调用 Llama 3、Mixtral 等模型 API

    Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。

    推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。

9月13日周三
8月25日周五
  1. Hugging Face Blog86

    Hugging Face 发布 Code Llama 模型及生态系统集成

    Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。

    推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。

8月22日周二
7月27日周四
  1. Hugging Face Blog72

    Stable Diffusion XL 支持 Mac 端侧运行及 Core ML 高级量化

    Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。

    推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。

7月17日周一
4月5日周三
  1. Hugging Face Blog65

    StackLLaMA: 基于 RLHF 微调 LLaMA 模型的实战指南

    Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。

    推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。

2月24日周五
  1. Hugging Face Blog32

    Red-Teaming Large Language Models

    红队测试是评估大型语言模型(LLM)漏洞的关键方法,旨在通过构造自然语言提示词诱导模型生成有害内容,区别于针对分类任务的对抗性攻击。该过程依赖人工或自动化LM进行创意性攻击,以解决模型在安全性对齐后仍可能产生的偏见或恶意输出问题,是保障LLM部署安全性的基础。

9月27日周二
7月14日周四
  1. Hugging Face Blog62

    BLOOM 176B 模型训练技术揭秘:Megatron-DeepSpeed 与并行化实践

    BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。

    推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。

1月12日周三
11月15日周一
10月26日周二
3月12日周五