利用 AI 工具在 5 天内创建农场游戏:第一日美术风格
该系列教程演示利用 AI 工具在 5 天内构建农场游戏,首日聚焦于确定美术风格。教程使用 Stable Diffusion 生成概念图,并指导读者在 Unity 引擎中构建场景、设置材质与光照。最终在不到一天内完成具备风格化场景的游戏雏形。
该系列教程演示利用 AI 工具在 5 天内构建农场游戏,首日聚焦于确定美术风格。教程使用 Stable Diffusion 生成概念图,并指导读者在 Unity 引擎中构建场景、设置材质与光照。最终在不到一天内完成具备风格化场景的游戏雏形。
Hugging Face 发布教程,展示如何使用 🤗 transformers 调用 CLIPSeg 进行零样本图像分割。该模型基于冻结的 CLIP 表示和 Transformer 解码器,能在无额外训练的情况下生成粗略分割掩码。对于追求高精度的场景,可用 Segments.ai 工具对结果进行细化。
Hugging Face 探讨机器学习偏差的社会背景及应对策略,指出单一技术干预无法解决复杂的偏差问题。文章分析了 ML 系统在部署中可能放大的不平等与偏见风险,并分享了 Hugging Face 团队开发的用于在任务定义、数据整理及模型训练各阶段分析偏差的工具与建议。
Hugging Face 开源库 Datasets 提供一键加载和预处理音频数据集的功能。Hugging Face Hub 平台已收录 77 个语音识别和 28 个音频分类数据集。开发者可通过 load_dataset 函数在单行 Python 代码中下载并处理 GigaSpeech 等数据集,支持流式模式以高效管理数据。
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。
推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。
Elixir 社区宣布通过 Bumblebee 库引入 GPT2 至 Stable Diffusion 等神经网络模型。Bumblebee 是 Hugging Face Transformers 的纯 Elixir 实现,支持编译至 CPU 和 GPU。
RLHF 利用人类反馈直接优化大语言模型,使其对齐复杂的人类价值观。该流程包含预训练语言模型、收集数据并训练奖励模型、使用 PPO 强化学习微调语言模型三个核心步骤。Hugging Face 介绍了当前活跃的开源工具 TRL、TRLX 和 RL4LMs,并梳理了该领域的发展脉络、现存挑战及后续方向。
推荐理由:将多模型协同训练的复杂机制拆解为三阶段并梳理开源工具,帮助读者建立对RLHF完整管线的实操理解。
Hugging Face 发布教程,指导生物学家和机器学习人员利用类 BERT/GPT 的蛋白质语言模型及 ESMFold 进行蛋白质折叠与微调。教程提供 PyTorch 和 TensorFlow 示例 notebook,并重点解析迁移学习机制。 文章强调迁移学习在 2018 年成为自然语言处理突破,其核心是在丰富数据上预训练后复用网络结构,能带来超过 100 倍的训练数据效率提升。
Hugging Face Transformers 库内置了名为 Time Series Transformer 的模型,用于单变量概率时间序列预测。该模型采用 Encoder-Decoder 架构,结合 Ancestral Sampling 生成预测,并支持处理缺失值。
Hugging Face 将 Stable Diffusion 转换为 Core ML 模型并开放在 Hugging Face Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可运行在 CPU、GPU 和 Apple Neural Engine 上。
VQ-Diffusion 是中科大与微软提出的条件潜扩散模型,其加噪和去噪过程在由离散向量组成的量化潜空间上进行。文中介绍了 VQ-VAE 编码器将图像转换为离散 token 的流程,并解释了基于 Transformer 的近似逆向过程。
Hugging Face 将于 11 月 28 日发布免费扩散模型课程,并在 11 月 30 日举办线上活动。 Stability AI 的 David Ha、Meta 的 Devi Parikh 及 Runway 的 Patrick Esser 等将在活动中演讲,探讨 Stable Diffusion 的应用。
Hugging Face 文章展示了如何使用开源模型构建免费的定制化文档 AI 解决方案,涵盖 OCR、图像分类及文档问答等六大用例。多模态 Transformer 模型如 LayoutLMv3 和 Donut 在 RVL-CDIP 基准上达到 95% 准确率,显著优于 BERT 模型。
Hugging Face 推出包含免费 Inference Widget、Inference API 及生产级 Inference Endpoints 的完整推理方案。
该教程展示如何利用 Concrete-ML 库在全同态加密环境下构建情绪分析模型,无需解密即可对加密文本进行预测。教程使用 Hugging Face 的 Transformer 模型提取文本隐藏表示,结合 XGBoost 进行训练,并演示了通过客户端/服务器协议将模型部署到云端的完整流程。
Hugging Face Spaces 通过 arXivLabs 集成在论文页面新增 Demo 标签页,用户可直接访问社区或作者创建的开源机器学习演示。该功能上线时,Hugging Face 用户已基于 Spaces 构建了超过 12,000 个开源演示,帮助研究提高可复现性。
Hugging Face 在 transformers 库中新增了 Contrastive Search 解码方法,支持 PyTorch 和 TensorFlow。该方法在模型置信度基础上引入退化惩罚,以缓解贪心搜索的重复问题和随机采样的语义不连贯。文中展示了使用 GPT-2 和 OPT 模型时,对比搜索生成的文本在流畅性和事实准确性上均优于传统方法。
Hugging Face 调整定价策略,停止提供 Inference API 付费层级,该服务现免费开放。公司推出面向企业的 Inference Endpoints 及 Spaces 硬件升级功能,无需订阅,通过绑定信用卡或组织支付方式使用,费用于每月初统一结算。
Hugging Face在Diffusers下训练Stable Diffusion进行Dreambooth微调,并给出学习率、训练步数与prior preservation等参数建议。
推荐理由:基于Diffusers实验给出学习率、步数与prior preservation等关键参数建议,并比较DDIM采样与text encoder微调的效果。
Hugging Face 发布教程,演示如何使用 Transformers 库微调 OpenAI 的 Whisper 模型以适配多语言语音识别。教程以 Common Voice 11.0 中的印地语数据为例,展示了从数据准备、特征提取到模型训练的全流程。使用约 8 小时的小规模数据对 Whisper small 进行微调后,模型在测试集上的词错误率从 63.5% 降至 32.0%。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 在其 Evaluate 库中新增了偏差指标,用于评估因果语言模型(CLM)如 GPT-2 和 BLOOM 的生成偏差。 开发者可通过预定义提示词生成文本,并利用 Toxicity、Polarity 和 Hurtfulness 三个任务进行测量。 示例显示,简单的代词差异可能导致模型补全的毒性分数不同,如女性代词补全的毒性比率高达 0.3333。
该教程以 MNIST 训练为例,展示了如何在 PyTorch 中实现分布式训练。 它通过三个抽象层级演示:使用原生 PyTorch 的 `torch.distributed` 模块,利用 🤗 Accelerate 的轻量级包装器实现跨设备最小化代码修改,以及使用 🤗 Transformers 的高层 Trainer API 抽象样板代码。
Hugging Face 推出 MTEB,这是一个涵盖 56 个数据集和 8 类任务的大规模文本嵌入基准,用于评估模型性能。该基准支持多达 112 种语言,目前排行榜汇总了超过 2000 个结果。开发者可通过安装 `mteb` 库对任意嵌入模型进行基准测试,并将结果提交至公共排行榜。
Hugging Face 新推出 Inference Endpoints 服务,允许用户将模型直接从 Hugging Face hub 部署至托管基础设施,仅需几次点击即可完成。该服务支持 Public、Protected 和 Private 三种访问级别,其中 Private 模式通过 AWS PrivateLink 和 VPC Endpoint 实现网络隔离与访问控制。
Hugging Face Diffusers 支持 Flax 框架,允许在 Google TPU 上对 Stable Diffusion 进行快速推理。教程演示了通过 jax.pmap 在 TPU v2 的 8 个设备上并行生成图像,首次编译耗时较长,但后续推理仅需约 7 秒。
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
Hugging Face 与 DataCite 合作,允许 Hub 用户为模型或数据集生成 DOI 数字对象标识符。用户可在仓库设置中申请,通过“Cite this model/dataset”按钮引用。DOI 绑定对象元数据,提供永久链接,版本更新时原 DOI 标记为过时。
rinna 公司发布专为日语优化的文生图模型 Japanese Stable Diffusion,该模型通过在日语数据集上微调 Stable Diffusion 生成,能够理解日语提示词并生成反映日本文化特征(如“salary man”形象)的图片。
Hugging Face 升级 AutoTrain 基础设施,允许用户在 Hub 上免费对 660 亿参数的因果语言模型执行零样本分类评估。该技术通过计算令牌对数概率来衡量模型性能,无需标记数据;评估 660 亿参数模型处理 2000 个句子级样本仅需 3.5 小时。
Hugging Face 为 AutoTrain 新增图像分类(Image Classification)任务,支持零代码训练视觉模型。用户可上传数据或使用 Hugging Face Hub 数据集,选择候选模型数量后自动训练并筛选最佳模型。训练少于 500 张图像且使用 5 个候选模型即可免费,最佳模型可达 84% 准确率。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit 框架,用于 Sentence Transformers 的高效少样本微调。
推荐理由:通过对比不同模型的训练成本与精度,展示了高效微调在少样本场景下的实际可行性。
Hugging Face 发布首份《伦理与社会》通讯,阐述其基于协作、责任与透明度的开源伦理价值观。通讯介绍了通过文档要求、自由课程及无代码数据分析工具提升模型可审计性的实践,并展示了用于报告伦理与法律问题的“标记”功能及新的开放负责 AI 许可证。
在 8x80GB A100 硬件配置下,使用 DeepSpeed-Inference 运行 176B BLOOM 模型可实现低于 1 毫秒的每 token 吞吐速度。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。
Hugging Face 发布教程,指导用户利用 transformers 库和 Google Colab 从零训练离线 Decision Transformer 模型。该模型基于 GPT-2 架构,将强化学习抽象为条件序列建模问题,通过预测未来动作实现目标回报。教程演示了使用 Gym HalfCheetah 专家数据集及自定义 Data Collator 进行离线 RL 训练的完整流程。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
Hugging Face 支持的 RAIL Initiative 推出了 OpenRAIL 许可协议,旨在结合开放访问与负责任使用,填补 AI 模型授权空白。该协议允许免版税的访问、使用及衍生再分发,同时嵌入针对特定关键场景的行为限制条款,以平衡广泛访问与潜在社会风险。
教程展示了如何在 Hugging Face Spaces 中集成 3Dmol.js 以可视化蛋白质结构。核心步骤是通过 Gradio HTML 组件创建 iframe 加载 3Dmol.js,并解析 PDB 文件坐标。文中推荐安装 gradio_molecule3d 组件以优化交互体验,并提供了基于 RCSB 数据库获取结构的完整代码示例。