跳到正文
2月21日周二
  1. Hugging Face Blog44

    Hugging Face 与 AWS 合作提升 AI 可及性

    Hugging Face 与 Amazon Web Services 扩大长期战略合作,旨在通过云工具降低机器学习模型构建、训练和部署的成本,使下一代模型对开发者更易于访问。开发者将利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 等工具,以便在几个点击内微调并部署 Hugging Face 上的模型。

2月8日周三
  1. Hugging Face Blog76

    Hugging Face 实现 Microsoft 的 SpeechT5 语音模型

    Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。

    推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。

1月24日周二
1月23日周一
11月30日周三
7月14日周四
  1. Hugging Face Blog62

    BLOOM 176B 模型训练技术揭秘:Megatron-DeepSpeed 与并行化实践

    BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。

    推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。

5月23日周一
4月25日周一
10月26日周二
3月23日周二
9月22日周二
7月22日周一
  1. OpenAI95

    微软投资10亿美元并与OpenAI建立AGI开发合作

    微软宣布向OpenAI投资10亿美元,双方将合作开发Azure平台内可规模化至AGI的软硬件平台。根据协议,微软成为OpenAI的独家云服务商,双方将共同开发新一代Azure AI超计算技术,并致力于扩展其在大规模AI系统中的能力。

    推荐理由:披露了微软投资10亿美元并建立Azure独家云合作的具体条件,为理解双方硬件加速与AI算力布局提供基准。

11月15日周二