Open LLM Leaderboard 移除 DROP 基准
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
Hugging Face 与 LCM 团队合作发布 SDXL Latent Consistency LoRAs,使 SDXL 生成步骤从 25 至 50 步降至 4 至 8 步。M1 Max 上生成 1024x1024 图像耗时约 6.5 秒,4090 上不到 1 秒,且可与其他 SDXL LoRA 组合使用。
推荐理由:原文展示了 LCM LoRA 将 SDXL 推理降至 4 步的方法,并提供多组硬件性能基准,便于评估低成本生成效果。
Explosion 推出 Prodigy-HF 插件,实现 Prodigy 标注工具与 Hugging Face 生态的直接集成。用户可通过命令直接微调 BERT 等 Transformer 模型,并支持将标注数据集上传至 Hugging Face Hub 以鼓励协作。
文章对比了 RoBERTa-large(355M 参数)、Llama 2-7B 与 Mistral 7B-v0.1 在灾难推文分类任务中的表现,采用 LoRA 进行参数高效微调,统一最大序列长度为 512 tokens,以探索不同规模模型在序列分类任务中的性能差异。
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。
Hugging Face 发布教程,演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder,使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由:原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程,并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Renumics Spotlight 允许开发者通过一行代码生成 Hugging Face 数据集的交互式可视化,直接识别数据中的关键聚类。该工具原生支持数据集语义,能结合模型预测结果和嵌入向量,深入分析数据片段及模型失效模式,显著提升了机器学习流程中数据检查的效率与可扩展性。
Hugging Face 团队复现了 OpenAI 的 RLHF 代码库,展示了不同实现细节对模型训练曲线的影响。团队发现 PyTorch 和 TensorFlow 的 Adam 优化器在数值计算上存在差异,导致 PyTorch 的更新更加激进,影响了模型性能。
Hugging Face 测试了提升 SDXL 推理速度与降低内存占用的优化方案。在 A100 GPU 上,结合 fp16、SDPA 及 torch.compile,推理时间从 72.2 秒缩短至 10.2 秒,内存占用从 28GB 降至 21.7GB。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
Hugging Face Diffusers 宣布支持通过 JAX 在 Google Cloud TPU v5e 上部署 Stable Diffusion XL,实现高性能且成本高效的推理。
本文演示如何利用 Hugging Face Inference API 部署 AI Comic Factory。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
教程演示了如何使用 Hugging Face Spaces、AutoTrain 和 ChatUI 在不写代码的情况下,基于 LLaMA 2 7B 微调一个开源 LLM 并部署为可共享的聊天应用。
推荐理由:教程面向零基础读者,演示了如何用 AutoTrain 和 Spaces 微调 LLaMA 2 并部署成聊天应用,适合想了解开源模型部署流程的读者。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。
推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
3D Gaussian Splatting 是一种利用高斯点替代三角形网格的实时光栅化技术,能够从少量图像中学习并渲染照片级真实感场景。该技术将 SfM 点云转化为可训练的高斯参数(位置、协方差、颜色、透明度),通过可微光栅化器进行前向渲染与梯度优化,并利用自动加密(分裂/克隆)和剪枝策略提升细节恢复质量。
推荐理由:基于官方开源实现和 COLMAP 流程,拆解 3D Gaussian Splatting 的网格化训练过程及其在现有渲染管线中的适配限制。
Hugging Face 发布 Object Detection Leaderboard,对 Hub 上的目标检测模型进行排名。该榜单基于 Average Precision 和 Average Recall 指标,深入解析 Intersection over Union 计算方法,并揭示模型评估中的潜在分歧。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
Hugging Face 发布的企业级代码助手 SafeCoder 基于 StarCoder 模型,提供透明度、定制性与隐私保护,区别于 GitHub Copilot 等闭源服务。
Diffusers 团队与作者合作,在 Diffusers 中实现了 Stable Diffusion XL (SDXL) 对 T2I-Adapter 的支持。
Hugging Face 正式发布 TII 开发的开源大语言模型 Falcon 180B,该模型拥有 1800 亿参数,使用了 3.5 万亿 tokens 进行预训练。
推荐理由:Falcon 180B 是当时最大的开源语言模型,在 Hugging Face 生态中提供了完整的部署和微调指南。
消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。
AudioLDM 2 在 Hugging Face Diffusers 中通过代码和模型优化实现了超 10 倍推理速度提升。具体方法包括使用 PyTorch 2.0 SDPA 实现 Flash Attention、启用 float16 半精度计算、应用 torch.compile 以及切换至 DPMSolverMultistepScheduler 减少推理步数。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 推出针对企业的端到端代码助手解决方案 SafeCoder,提供自托管部署,基于 StarCoder 模型构建,支持 NVIDIA、AMD 等硬件加速推理,确保代码在训练和推理过程中不离开客户 VPC,解决合规与安全问题。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Hugging Face Hub 已上线 AWS Marketplace,允许用户通过 AWS 账户直接订阅并支付 Hugging Face 服务费用。此举将 Inference Endpoints、Spaces 硬件升级及 AutoTrain 等服务整合至 AWS 账单中,方便企业统一支付 Llama 2 等模型相关服务的费用,无需单独使用信用卡。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
Hugging Face 发布名为 Swift Transformers 的 Swift 包和配套工具链,支持在 Apple 设备本地运行 Llama 2、Falcon 等 LLM。工具包含 swift-transformers 库、swift-chat 示例 App、以及更新后的 exporters 和 transformers-to-coreml 转换工具。
Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。