Mistral 7B 发布
Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。
推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。
Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。
推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。
推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。
推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。
红队测试是评估大型语言模型(LLM)漏洞的关键方法,旨在通过构造自然语言提示词诱导模型生成有害内容,区别于针对分类任务的对抗性攻击。该过程依赖人工或自动化LM进行创意性攻击,以解决模型在安全性对齐后仍可能产生的偏见或恶意输出问题,是保障LLM部署安全性的基础。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。
推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
XLS-R 是 XLSR 的继任者,于 2021 年 11 月发布,使用 128 种语言的近 50 万小时音频数据进行自监督预训练,参数规模从 300M 到 2B。
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。