Hugging Face transformers 新增对比搜索解码方法
Hugging Face 在 transformers 库中新增了 Contrastive Search 解码方法,支持 PyTorch 和 TensorFlow。该方法在模型置信度基础上引入退化惩罚,以缓解贪心搜索的重复问题和随机采样的语义不连贯。文中展示了使用 GPT-2 和 OPT 模型时,对比搜索生成的文本在流畅性和事实准确性上均优于传统方法。
Hugging Face 在 transformers 库中新增了 Contrastive Search 解码方法,支持 PyTorch 和 TensorFlow。该方法在模型置信度基础上引入退化惩罚,以缓解贪心搜索的重复问题和随机采样的语义不连贯。文中展示了使用 GPT-2 和 OPT 模型时,对比搜索生成的文本在流畅性和事实准确性上均优于传统方法。
Hugging Face 调整定价策略,停止提供 Inference API 付费层级,该服务现免费开放。公司推出面向企业的 Inference Endpoints 及 Spaces 硬件升级功能,无需订阅,通过绑定信用卡或组织支付方式使用,费用于每月初统一结算。
Hugging Face在Diffusers下训练Stable Diffusion进行Dreambooth微调,并给出学习率、训练步数与prior preservation等参数建议。
推荐理由:基于Diffusers实验给出学习率、步数与prior preservation等关键参数建议,并比较DDIM采样与text encoder微调的效果。
Hugging Face 发布教程,演示如何使用 Transformers 库微调 OpenAI 的 Whisper 模型以适配多语言语音识别。教程以 Common Voice 11.0 中的印地语数据为例,展示了从数据准备、特征提取到模型训练的全流程。使用约 8 小时的小规模数据对 Whisper small 进行微调后,模型在测试集上的词错误率从 63.5% 降至 32.0%。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 在其 Evaluate 库中新增了偏差指标,用于评估因果语言模型(CLM)如 GPT-2 和 BLOOM 的生成偏差。 开发者可通过预定义提示词生成文本,并利用 Toxicity、Polarity 和 Hurtfulness 三个任务进行测量。 示例显示,简单的代词差异可能导致模型补全的毒性分数不同,如女性代词补全的毒性比率高达 0.3333。
该教程以 MNIST 训练为例,展示了如何在 PyTorch 中实现分布式训练。 它通过三个抽象层级演示:使用原生 PyTorch 的 `torch.distributed` 模块,利用 🤗 Accelerate 的轻量级包装器实现跨设备最小化代码修改,以及使用 🤗 Transformers 的高层 Trainer API 抽象样板代码。
Hugging Face 推出 MTEB,这是一个涵盖 56 个数据集和 8 类任务的大规模文本嵌入基准,用于评估模型性能。该基准支持多达 112 种语言,目前排行榜汇总了超过 2000 个结果。开发者可通过安装 `mteb` 库对任意嵌入模型进行基准测试,并将结果提交至公共排行榜。
Hugging Face 新推出 Inference Endpoints 服务,允许用户将模型直接从 Hugging Face hub 部署至托管基础设施,仅需几次点击即可完成。该服务支持 Public、Protected 和 Private 三种访问级别,其中 Private 模式通过 AWS PrivateLink 和 VPC Endpoint 实现网络隔离与访问控制。
Hugging Face Diffusers 支持 Flax 框架,允许在 Google TPU 上对 Stable Diffusion 进行快速推理。教程演示了通过 jax.pmap 在 TPU v2 的 8 个设备上并行生成图像,首次编译耗时较长,但后续推理仅需约 7 秒。
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
Hugging Face 与 DataCite 合作,允许 Hub 用户为模型或数据集生成 DOI 数字对象标识符。用户可在仓库设置中申请,通过“Cite this model/dataset”按钮引用。DOI 绑定对象元数据,提供永久链接,版本更新时原 DOI 标记为过时。
rinna 公司发布专为日语优化的文生图模型 Japanese Stable Diffusion,该模型通过在日语数据集上微调 Stable Diffusion 生成,能够理解日语提示词并生成反映日本文化特征(如“salary man”形象)的图片。
Hugging Face 升级 AutoTrain 基础设施,允许用户在 Hub 上免费对 660 亿参数的因果语言模型执行零样本分类评估。该技术通过计算令牌对数概率来衡量模型性能,无需标记数据;评估 660 亿参数模型处理 2000 个句子级样本仅需 3.5 小时。
Hugging Face 为 AutoTrain 新增图像分类(Image Classification)任务,支持零代码训练视觉模型。用户可上传数据或使用 Hugging Face Hub 数据集,选择候选模型数量后自动训练并筛选最佳模型。训练少于 500 张图像且使用 5 个候选模型即可免费,最佳模型可达 84% 准确率。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit 框架,用于 Sentence Transformers 的高效少样本微调。
推荐理由:通过对比不同模型的训练成本与精度,展示了高效微调在少样本场景下的实际可行性。
Hugging Face 发布首份《伦理与社会》通讯,阐述其基于协作、责任与透明度的开源伦理价值观。通讯介绍了通过文档要求、自由课程及无代码数据分析工具提升模型可审计性的实践,并展示了用于报告伦理与法律问题的“标记”功能及新的开放负责 AI 许可证。
在 8x80GB A100 硬件配置下,使用 DeepSpeed-Inference 运行 176B BLOOM 模型可实现低于 1 毫秒的每 token 吞吐速度。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。
Hugging Face 发布教程,指导用户利用 transformers 库和 Google Colab 从零训练离线 Decision Transformer 模型。该模型基于 GPT-2 架构,将强化学习抽象为条件序列建模问题,通过预测未来动作实现目标回报。教程演示了使用 Gym HalfCheetah 专家数据集及自定义 Data Collator 进行离线 RL 训练的完整流程。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
Hugging Face 支持的 RAIL Initiative 推出了 OpenRAIL 许可协议,旨在结合开放访问与负责任使用,填补 AI 模型授权空白。该协议允许免版税的访问、使用及衍生再分发,同时嵌入针对特定关键场景的行为限制条款,以平衡广泛访问与潜在社会风险。
教程展示了如何在 Hugging Face Spaces 中集成 3Dmol.js 以可视化蛋白质结构。核心步骤是通过 Gradio HTML 组件创建 iframe 加载 3Dmol.js,并解析 PDB 文件坐标。文中推荐安装 gradio_molecule3d 组件以优化交互体验,并提供了基于 RCSB 数据库获取结构的完整代码示例。
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
Hugging Face 发布博客,指导如何使用 Diffusers 库运行 Stable Diffusion 模型并自定义推理管道。
推荐理由:详解Stable Diffusion在Diffusers中的调用与底层机制,提供完整代码示例与自定义管道方法,适合开发者快速上手图像生成。
该教程展示了如何将 Hugging Face 的 ViT B/16 TensorFlow 模型部署至 Google Vertex AI 平台。 通过 google-cloud-aiplatform Python SDK 执行模型上传、端点创建及部署,利用 Vertex AI Model Registry 实现模型版本管理与自动扩缩容,无需编写大量代码即可实现 Kubernetes 级别的扩展性。
本文通过 Hugging Face Optimum Graphcore 库,展示了如何在 Graphcore IPU 上对预训练的 Vision Transformer (ViT) 模型进行微调。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 推出新库 Skops,允许用户将 scikit-learn 模型托管在 Hugging Face Hub。该工具支持创建模型文档卡片,并通过 joblib 后端加载序列化模型。
Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。
文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。
该教程展示了 Sentence Transformers v3.0 之前的 SentenceTransformer.fit API 使用流程,现已过时。Hugging Face 官方建议使用 SentenceTransformerTrainer 配合新版指南进行 Embedding 模型训练。
Hugging Face 深度强化学习课程第八单元讲解近端策略优化(PPO),通过限制策略更新幅度提升训练稳定性。文章详细推导了基于概率比率的截断替代目标函数,解释了在 [1-ϵ, 1+ϵ] 区间内裁剪比率以防止策略剧烈变化的机制。随后使用 PyTorch 从零实现 PPO 架构,并在 CartPole-v1 和 LunarLander-v2 环境中验证实现的有效性。
Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。
推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。
Hugging Face 博客介绍了 Nyströmformer,该模型通过 Nyström 方法将标准自注意力的时间和内存复杂度从 O(n^2) 降低至 O(n)。 其核心机制是利用查询和键的段均值构造 32 或 64 个 landmark 点,避免直接计算完整的 QK^T 矩阵,从而在长序列(如 4096 或 8192 长度)下保持竞争性性能。
Hugging Face 为 Datasets 库新增了音频和图像数据的官方文档。Quickstart 更新了模态示例并引入 to_tf_dataset 函数以简化 TensorFlow 接入。新增的 ImageFolder 构建器无需脚本即可加载图像数据并支持通过元数据文件扩展至物体检测等任务。
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。
推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。
Hugging Face 发布教程,指导开发者使用 TensorFlow Serving (TF Serving) 在本地部署基于 Hugging Face Transformers 的视觉模型。
Hugging Face 发布了深度强化学习课程第 7 单元,核心是讲解 Advantage Actor Critic (A2C) 算法。文章分析了此前 Reinforce 算法因蒙特卡洛采样导致的高方差问题,并阐述了 Actor-Critic 混合架构如何结合策略网络(Actor)与价值网络(Critic)来降低估计方差、提升训练稳定性。