跳到正文
9月13日周三
9月12日周二
9月11日周一
9月8日周五
9月6日周三
9月1日周五
  1. Hugging Face Blog26

    Fetch 使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%

    消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。

8月30日周三
8月25日周五
  1. Hugging Face Blog86

    Hugging Face 发布 Code Llama 模型及生态系统集成

    Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。

    推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。

8月23日周三
  1. Hugging Face Blog60

    Hugging Face 在 Transformers 中整合 AutoGPTQ 实现大模型轻量化

    Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。

    推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。

8月22日周二
8月10日周四
8月9日周三
  1. Hugging Face Blog32

    使用 BentoML 部署 Hugging Face 模型:DeepFloyd IF 实战

    本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。

8月8日周二
  1. Hugging Face Blog82

    Hugging Face 教程:使用 DPO 微调 Llama 2

    Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。

    推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。

8月4日周五
8月2日周三
8月1日周二
  1. Hugging Face Blog42

    实用3D资产生成:分步指南

    该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。

7月27日周四
  1. Hugging Face Blog72

    Stable Diffusion XL 支持 Mac 端侧运行及 Core ML 高级量化

    Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。

    推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。

7月24日周一
  1. Hugging Face Blog43

    Hugging Face 联合多机构发布欧盟 AI 法案开放机器学习考量立场文件

    Hugging Face 联合 Creative Commons 等机构发布立场文件,建议欧盟 AI 法案明确开源 AI 组件的协作开发与公共仓库分发不受法案特定要求约束。文件还提议确保研发例外条款在现实测试中具备实用性,并对基础模型实行差异化比例监管要求,以支持开放生态的透明度与创新能力。

7月21日周五
7月17日周一
7月14日周五
7月5日周三
5月23日周二
5月16日周二
  1. Hugging Face Blog50

    Q8-Chat 在 Xeon 上实现高效生成式 AI 体验:SmoothQuant 优化 LLM 推理

    Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。

  2. Hugging Face Blog27

    BigCode 大规模近似去重方法

    BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。

5月15日周一
5月11日周四
5月9日周二
  1. Hugging Face Blog44

    如何使用 StarCoder 创建编码助手

    Hugging Face 展示了如何利用 BigCode 的 StarCoder 创建个性化编码助手 StarChat。StarCoder 是拥有 16B 参数量的开源模型,支持 8,192 token 上下文窗口,采用企业友好许可证。通过采用 ChatML 格式并配合 🤗 Transformers 与 DeepSpeed ZeRO-3 进行微调,可将其转化为对话式编码智能体。

5月8日周一
5月4日周四
  1. Hugging Face Blog82

    Hugging Face 发布代码 LLM StarCoder

    Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。

    推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。

5月1日周一
  1. Hugging Face Blog41

    Hugging Face Unity API 安装与使用指南

    Hugging Face Unity API 作为 Hugging Face Inference API 的集成工具,允许开发者在 Unity 项目中通过 Git URL 安装并配置 API 键以访问模型。该工具支持文本生成、对话、文本转图像及语音识别等多项任务,并支持通过修改模型端点使用自定义模型。API 采用异步调用机制,开发者可通过切换至资源占用更低的模型端点来优化响应速度。

4月27日周四
4月26日周三