Argilla 与 Hugging Face 联合发起集体构建偏好数据集实验
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Hugging Face 为 Text Generation Inference 推出 Messages API,使 TGI 1.4.0 起兼容 OpenAI Chat Completion API。
推荐理由:提供 TGI 对齐 OpenAI 的接入细节与示例,读者可据此把现有客户端代码迁移到自托管开源 LLM。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Hugging Face 推出基于 Masked Image Model (MIM) 的非扩散文生图模型 aMUSEd。该模型仅含约 800M 参数,推理速度较快,支持通过 LoRA 在 7GB 显存下微调。aMUSEd 采用开放许可,可作为 diffusers 中首个非扩散系统,用于零样图像修复及风格迁移探索。
Hugging Face 回顾了 2023 年开源 LLM 的发展,强调开放模型促进研究可复现性与社区参与。2022 年开源模型遵循“规模竞赛”范式,包括 BigScience 发布的 BLOOM 系列,最大模型为 176B 参数,在 46 种人类语言和 13 种编程语言上训练;Meta 发布 OPT 系列,最大模型 175B 参数,性能接近 GPT-3。
Mistral AI 开放了首个平台服务的 beta 权限,提供三个文本生成端点和一个嵌入端点。Mistral-tiny 端点基于 Mistral 7B Instruct v0.2,Mistral-small 基于 Mixtral 8x7B,Mistral-medium 基于原型模型,三者分别在 MT-Bench 上取得 7.6、8.3 和 8.6 分。
推荐理由:Mistral AI 开放了首个平台服务 beta 权限,并给出了三个推理端点与嵌入端点的基准表现,方便开发者对比选择。
Hugging Face 发布教程,演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder,使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由:原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程,并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
Hugging Face 推出针对企业的端到端代码助手解决方案 SafeCoder,提供自托管部署,基于 StarCoder 模型构建,支持 NVIDIA、AMD 等硬件加速推理,确保代码在训练和推理过程中不离开客户 VPC,解决合规与安全问题。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 举办首届开源 AI 游戏 Jam,收到 88 款游戏提交,最终由 ohmlet 团队开发的《Snip It》获得冠军。参赛作品主要集成 Stable Diffusion、GPT-4 等开源工具,主题定为“EXPANDING”,评测标准涵盖趣味性、创造力及主题契合度。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
Informer 模型现已在 Hugging Face Transformers 中可用,支持基于独立发射分布的多元概率时间序列预测。 该模型引入 ProbSparse attention 将自注意力计算复杂度降至 O(T log T),并通过 Distilling 操作将堆叠层的内存占用优化为 O(N·T log T)。
Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。
本文演示在 Hugging Face 发布的系列教程第五部分中,如何利用 ChatGPT 为种田游戏生成故事大纲及物品描述。作者指出语言模型在长文本创作中存在质量下降和重复的局限,并建议将其用于头脑风暴而非直接商用。教程同时提及 Character.AI 等新兴对话智能体在个性化游戏角色互动中的应用潜力。
该文章展示了如何使用 Hugging Face 的 Transformers 和 Datasets 库构建图像相似度系统。系统采用基于 ViT 的 nateraw/vit-base-beans 模型计算图像嵌入向量,通过余弦相似度匹配查询图像与候选集。代码支持并行处理,并可通过 Swin Transformer 或 ConvNeXT 等模型扩展至其他图像数据集。
Elixir 社区宣布通过 Bumblebee 库引入 GPT2 至 Stable Diffusion 等神经网络模型。Bumblebee 是 Hugging Face Transformers 的纯 Elixir 实现,支持编译至 CPU 和 GPU。
Hugging Face Transformers 库内置了名为 Time Series Transformer 的模型,用于单变量概率时间序列预测。该模型采用 Encoder-Decoder 架构,结合 Ancestral Sampling 生成预测,并支持处理缺失值。
Hugging Face 文章展示了如何使用开源模型构建免费的定制化文档 AI 解决方案,涵盖 OCR、图像分类及文档问答等六大用例。多模态 Transformer 模型如 LayoutLMv3 和 Donut 在 RVL-CDIP 基准上达到 95% 准确率,显著优于 BERT 模型。
Hugging Face 在其 Evaluate 库中新增了偏差指标,用于评估因果语言模型(CLM)如 GPT-2 和 BLOOM 的生成偏差。 开发者可通过预定义提示词生成文本,并利用 Toxicity、Polarity 和 Hurtfulness 三个任务进行测量。 示例显示,简单的代词差异可能导致模型补全的毒性分数不同,如女性代词补全的毒性比率高达 0.3333。
Hugging Face 与 DataCite 合作,允许 Hub 用户为模型或数据集生成 DOI 数字对象标识符。用户可在仓库设置中申请,通过“Cite this model/dataset”按钮引用。DOI 绑定对象元数据,提供永久链接,版本更新时原 DOI 标记为过时。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
Hugging Face 支持的 RAIL Initiative 推出了 OpenRAIL 许可协议,旨在结合开放访问与负责任使用,填补 AI 模型授权空白。该协议允许免版税的访问、使用及衍生再分发,同时嵌入针对特定关键场景的行为限制条款,以平衡广泛访问与潜在社会风险。
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
本文通过 Hugging Face Optimum Graphcore 库,展示了如何在 Graphcore IPU 上对预训练的 Vision Transformer (ViT) 模型进行微调。
Hugging Face 推出新库 Skops,允许用户将 scikit-learn 模型托管在 Hugging Face Hub。该工具支持创建模型文档卡片,并通过 joblib 后端加载序列化模型。
Hugging Face 提供三种将 Transformers 模型转换为 ONNX 的方法。低级方法通过 torch.onnx API 导出,需手动配置动态轴;中级方法使用 transformers.onnx,利用配置对象简化流程;高级方法通过 Optimum 库调用 ORTModelForSequenceClassification,可直接加载模型进行推理。
Hugging Face Hub 正式推出 Pull Requests 和 Discussions 功能,旨在促进模型、数据集和 Spaces 的社区协作。 该功能支持所有用户创建和参与讨论及拉取请求,通过专用的 refs 分支直接处理贡献,避免了使用 forks 和 branches,为机器学习软件提供了简化的协作体验。
Hugging Face 推出 Fellowship Program,旨在通过提供算力、物资及官方认可,支持机器学习开源生态的关键贡献者扩大影响力。该计划不设截止时间,通过团队成员或现有 Fellow 提名进行选拔,入选者并非公司员工,但可在公开场合展示其 Hugging Face Fellow 身份。
Gradio 3.0 发布了基于 Svelte 的前端重构,显著减小了 payload 并提升了页面加载速度。该版本引入了 Gradio Blocks 低层 API,支持通过 Python 构建自定义布局和数据流的多步骤 Web 应用。Hugging Face 同期举办 Gradio Blocks Party 竞赛,旨在鼓励用户利用新组件开发机器学习演示。
Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。
Hugging Face 启动教育计划,旨在2023年底前教授500万人机器学习。平台提供NLP、深度强化学习等免费课程,并面向教师提供多语言教学工具包与社区协作资源。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,而是采用单模型文件策略,确保每个模型的前向传播代码集中在单一文件中。此举旨在降低开源贡献者的门槛,使修补缺陷或添加新模型时无需担心破坏其他代码,同时提升代码可读性以适应机器学习领域的快速演进。
教程演示利用 Hugging Face datasets 和 transformers 库微调 Vision Transformer (ViT) 处理图像分类。使用 google/vit-base-patch16-224-in21k 模型及其配套的 ViTImageProcessor,通过加载 beans 数据集并应用标准化预处理,将图像转换为模型可接受的张量输入以完成微调流程。
Hugging Face 发布 Python 情感分析入门指南,展示如何用预训练模型实现自动化情感标记。教程提供 5 行代码示例,利用 `transformers` 库的 `pipeline` 函数调用 Hub 上超过 215 个公开模型,无需机器学习经验即可处理数据。