Hugging Face 与 AWS 合作提升 AI 可及性
Hugging Face 与 Amazon Web Services 扩大长期战略合作,旨在通过云工具降低机器学习模型构建、训练和部署的成本,使下一代模型对开发者更易于访问。开发者将利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 等工具,以便在几个点击内微调并部署 Hugging Face 上的模型。
Hugging Face 与 Amazon Web Services 扩大长期战略合作,旨在通过云工具降低机器学习模型构建、训练和部署的成本,使下一代模型对开发者更易于访问。开发者将利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 等工具,以便在几个点击内微调并部署 Hugging Face 上的模型。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
Hugging Face 和 Microsoft ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 来加速大型语言、语音和视觉模型的微调。
OpenAI 与 Microsoft 宣布延长双方的合作伙伴关系。
VQ-Diffusion 是中科大与微软提出的条件潜扩散模型,其加噪和去噪过程在由离散向量组成的量化潜空间上进行。文中介绍了 VQ-VAE 编码器将图像转换为离散 token 的流程,并解释了基于 Transformer 的近似逆向过程。
BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。
推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。
微软 TAPEX 模型利用合成 SQL 查询执行数据替代真实数据,成功在四个表格问答基准上刷新 SOTA 纪录。该模型基于 BART 架构,在 WikiTableQuestions 数据集上的准确率达到 57.5%,超越了此前的最佳结果。其微调脚本已官方集成至 Hugging Face Transformers 4.19.0 版本。
Hugging Face 博客展示了利用其生态系统工具模拟真实客户服务场景的方法。该示例将筛选不满客户消息建模为文本分类任务,推荐 Amazon reviews multi 数据集,因其 1-5 星级标签可映射至情感类别,且支持多语言处理。
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
OpenAI已同意向微软授权GPT-3技术,允许其将其用于自有的产品和服务中。
推荐理由:该交易确立了大厂间基于核心模型的独家授权模式,为后续行业竞争格局提供了关键参考。
微软宣布向OpenAI投资10亿美元,双方将合作开发Azure平台内可规模化至AGI的软硬件平台。根据协议,微软成为OpenAI的独家云服务商,双方将共同开发新一代Azure AI超计算技术,并致力于扩展其在大规模AI系统中的能力。
推荐理由:披露了微软投资10亿美元并建立Azure独家云合作的具体条件,为理解双方硬件加速与AI算力布局提供基准。
OpenAI 正与 Microsoft 合作,将其大多数大规模实验迁移至 Azure 平台运行。