跳到正文

公司与模型

Hugging Face 最新动态

Hugging Face 开源社区动态：热门模型与数据集、排行榜变化与开源生态的晴雨表。

82 条精选近 30 天 13 条共收录 499 条

更新

精选归档 · 第 5 页

12月8日周三第 81–82 条
  1. Hugging Face Blog64

    Hugging Face 教程：从零开始训练 CodeParrot 代码生成模型

    Hugging Face 发布教程，介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练，并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。

    推荐理由：提供了训练 GPT-2 大模型的具体步骤，涵盖数据清洗、分词器设计和分布式训练，可复用于自研代码模型。

7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试，详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术，展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由：原文拆解了 Reformer 四大内存优化组件，并给出基准测试数据，帮助读者理解长序列模型的工程实现取舍。