跳到正文
11月30日周二
11月19日周五
  1. Hugging Face Blog27

    Intel 技术加速 PyTorch 分布式微调

    在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。

11月15日周一
11月4日周四
10月26日周二
  1. Hugging Face Blog35

    Hugging Face 课程第二期发布及社区活动

    Hugging Face 课程第二部分将于 11 月 15 日发布,覆盖 token 分类、翻译等常见 NLP 任务,并深入讲解 Datasets 和 Tokenizers 工具。同期举办的社区活动包含为期两天的讲座及基于 NLP 任务的模型微调团队项目,由 AWS 赞助提供 Amazon SageMaker 免费算力,完成者可获证书。

10月13日周三
  1. Hugging Face Blog26

    使用遥感卫星图像微调 OpenAI CLIP 模型

    研究团队使用 RSICD、UCM 和 Sydney 数据集微调了 OpenAI 的 CLIP 模型,以提升其在遥感卫星图像上的性能。该模型支持通过文本查询在大型卫星图像集合中进行搜索,可用于监测气候变化或国土防御。训练过程结合了图像变换和 Marian MT 模型进行文本数据增强,以缓解过拟合并提高模型在零样本场景下的可用性。

10月5日周二
  1. Hugging Face Blog41

    使用 Gradio 在 Spaces 展示项目

    Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。

6月3日周四
  1. Hugging Face Blog38

    GPT-Neo 与 Hugging Face 加速推理 API 中的少样本学习实践

    EleutherAI GPT-Neo 结合 Hugging Face 加速推理 API 支持少样本学习,API 提供高达 100 倍推理加速。GPT-Neo (2.7B) 需 3-4 个示例即可实现良好泛化,相比 GPT-3 (175B) 在零样本任务上表现较弱。通过调节温度、最大新 token 数及结束序列等超参数,可控制生成结果,但需注意情感分析等场景可能出现的错误预测风险。

5月25日周二
4月20日周二
4月8日周四
3月31日周三
3月18日周四
3月12日周五
2月25日周四
2月10日周三
1月18日周一
11月9日周一
  1. Hugging Face Blog30

    Hugging Face 教程:利用预训练语言模型检查点初始化 Encoder-Decoder 模型

    Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。

11月3日周二
11月2日周一
3月1日周日
  1. Hugging Face Blog55

    Transformers 中语言生成解码方法详解:贪心、束搜索与采样策略

    Hugging Face 发布教程详解 Transformers 库中语言生成的解码方法。文章通过代码示例演示了贪心搜索、束搜索、随机采样、Temperature 调节、Top-k 及 Top-p(Nucleus)采样的实现方式。指出 Top-k 和 Top-p 采样在开放式语言生成中通常比贪心和束搜索能产生更连贯的文本,并建议根据具体使用场景选择最优解码策略。

2月14日周五
11月8日周四
12月21日周三