跳到正文
12月16日周一
3月20日周三
  1. Hugging Face Blog76

    Cosmopedia:如何为预训练大语言模型创建大规模合成数据

    Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。

    推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。

3月4日周一
  1. Hugging Face Blog40

    Argilla 与 Hugging Face 联合发起集体构建偏好数据集实验

    Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。

2月16日周五
  1. Hugging Face Blog67

    Hugging Face 发布用开源 LLM 生成合成数据微调小模型的教程

    Hugging Face 在官方博客发布教程,展示如何用 Mixtral-8x7B-Instruct-v0.1 通过 LLM API 标注金融新闻情感数据生成合成数据,再用 AutoTrain 微调 RoBERTa-base 模型。

    推荐理由:文章给出可复现的合成数据微调方法,并用成本、延迟和碳排放对比,帮助读者评估该方法的适用边界。

1月18日周四
11月7日周二
9月13日周三
8月8日周二
  1. Hugging Face Blog82

    Hugging Face 教程:使用 DPO 微调 Llama 2

    Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。

    推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。

8月2日周三
5月16日周二
  1. Hugging Face Blog50

    Q8-Chat 在 Xeon 上实现高效生成式 AI 体验:SmoothQuant 优化 LLM 推理

    Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。

  2. Hugging Face Blog27

    BigCode 大规模近似去重方法

    BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。

4月12日周三
3月28日周二
3月27日周一
  1. Hugging Face Blog31

    使用 Hugging Face 和 Flower 进行联邦学习教程

    该教程演示如何利用 Hugging Face 和 Flower 框架在多个客户端上对语言模型进行联邦学习。 具体实现为在 IMDB 评分数据集上微调预训练的 distilBERT 模型,以检测电影评论的正负倾向。 该过程通过 Flower 框架简化了多客户端参数聚合,并提供了基于 Google Colab 的模拟功能 Notebook。

3月6日周一
  1. Hugging Face Blog50

    Kakao Brain 与 Hugging Face 发布开源 COYO 数据集及 ViT、ALIGN 模型

    Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。

2月21日周二
  1. Hugging Face Blog44

    Hugging Face 与 AWS 合作提升 AI 可及性

    Hugging Face 与 Amazon Web Services 扩大长期战略合作,旨在通过云工具降低机器学习模型构建、训练和部署的成本,使下一代模型对开发者更易于访问。开发者将利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 等工具,以便在几个点击内微调并部署 Hugging Face 上的模型。

1月24日周二
  1. Hugging Face Blog37

    对话代理的关键技术:RLHF、IFT 与 CoT 详解

    本文综述了构成 ChatGPT 等对话代理核心的技术术语,包括 RLHF、IFT 和 CoT。文章对比了 Google LaMDA、Meta BlenderBot 3 等模型的参数规模与数据细节,指出指令跟随能力主要依赖指令微调(IFT)。 为解决模型生成不安全回复的问题,开发者在 IFT 后引入监督微调(SFT)以增强安全性。

1月2日周一
10月21日周五
9月8日周四
  1. Hugging Face Blog50

    Hugging Face 教程:从零训练你的第一个 Decision Transformer

    Hugging Face 发布教程,指导用户利用 transformers 库和 Google Colab 从零训练离线 Decision Transformer 模型。该模型基于 GPT-2 架构,将强化学习抽象为条件序列建模问题,通过预测未来动作实现目标回报。教程演示了使用 Gym HalfCheetah 专家数据集及自定义 Data Collator 进行离线 RL 训练的完整流程。

7月28日周四
7月14日周四
  1. Hugging Face Blog62

    BLOOM 176B 模型训练技术揭秘:Megatron-DeepSpeed 与并行化实践

    BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。

    推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。

6月9日周四
4月28日周四
  1. Hugging Face Blog20

    Kili 与 HuggingFace AutoTrain 构建文本情感分析主动学习管道

    利用 HuggingFace AutoTrain 和 Kili 构建文本分类主动学习管道,通过迭代标注与模型重训优化情感分析。示例使用 Google Play Store 上约 4 万条 Medium 应用评论,定义了订阅、内容、界面及用户体验四个分类。Kili 提供协作标注工具与 API,支持多类别文本分类及命名实体识别,AutoTrain 则自动化数据清洗、模型选择及超参数优化。

4月26日周二
4月22日周五
1月21日周五
11月29日周一
2月25日周四
11月2日周一
5月5日周二
  1. OpenAI38

    OpenAI 发布 AI 与效率分析

    OpenAI 发布分析显示,自 2012 年以来,在 ImageNet 上训练神经网络达到同等性能所需的计算量每 16 个月减少一半。与 2012 年相比,现在训练至 AlexNet 水平的计算成本降低了 44 倍,远超同期摩尔定律带来的 11 倍提升。研究结果表明,在近期高投入的 AI 任务中,算法进步带来的收益超过了传统硬件效率提升。

3月21日周四
12月14日周五
12月21日周三