如何通过使用对抗性数据动态训练你的模型
动态对抗数据收集(DADC)通过多轮人工生成样本欺骗 SOTA 模型并重训,以解决静态基准饱和及偏差问题,提升模型鲁棒性。 文章以 MNIST 手写数字识别为例,使用 Hugging Face Spaces 构建交互演示:用户绘制数字,模型预测,错误样本被标记存入数据集并用于后续训练。
动态对抗数据收集(DADC)通过多轮人工生成样本欺骗 SOTA 模型并重训,以解决静态基准饱和及偏差问题,提升模型鲁棒性。 文章以 MNIST 手写数字识别为例,使用 Hugging Face Spaces 构建交互演示:用户绘制数字,模型预测,错误样本被标记存入数据集并用于后续训练。
BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。
推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。
Hugging Face 演示了如何利用 Sentence Transformers 库和 Gradio 构建基于语义搜索的播放列表生成器。该系统采用 sentence-transformers/msmarco-MiniLM-L-6-v3 模型,将歌词分割为段落并生成嵌入向量。通过设置 top_k=20 进行语义搜索,去重后通常可获取至少 9 首相关歌曲,实现了从文本提示到播放列表的生成。
Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。
Hugging Face 发布教程,指导用户利用 Inference API 对 Twitter 推文进行情感分析。
Hugging Face 在其深度强化学习课程第五单元中,使用 PyTorch 从零实现了基于策略的 Reinforce 算法。该方法直接优化策略分布,适用于高维动作空间,并通过学习随机策略解决了感知别名问题。课程后续将在 CartPole-v1 等环境中测试该算法的鲁棒性。
本文以 Sentence Transformers 为例,指导新手如何迈出机器学习第一步。该库能将文本或图像转换为嵌入向量,并利用余弦相似度等工具进行语义搜索。文中还分享了一套“火箭发射”式的项目策略,包括梳理工具能力、寻找 Hugging Face 数据集,以及从简单的语义搜索项目起步进行实践。
Hugging Face Accelerate 库支持通过 DeepSpeed ZeRO 实现大模型训练,无需修改代码即可利用 2 块 NVIDIA Titan RTX GPU 运行 900M 参数的 microsoft/deberta-v2-xlarge-mnli 模型。
Hugging Face 发布 Evaluation on the Hub 工具,允许用户在不编写代码的情况下评估 Hub 上的任何模型。该工具由 AutoTrain 提供支持,通过 Pull Request 在模型卡片中展示经过验证的性能结果,结果直接编码在元数据中。
嵌入是信息的数值化表示,能捕捉语义并用于构建搜索引擎与推荐系统等应用。使用开源 Sentence Transformers 库中的 "sentence-transformers/all-MiniLM-L6-v2" 模型,配合 Hugging Face Inference API,可以快速对 Medicare FAQ 数据集进行嵌入。该方法支持语义搜索,无需大规模标注数据即可实现文本相似度匹配。
Hugging Face 提供三种将 Transformers 模型转换为 ONNX 的方法。低级方法通过 torch.onnx API 导出,需手动配置动态轴;中级方法使用 transformers.onnx,利用配置对象简化流程;高级方法通过 Optimum 库调用 ORTModelForSequenceClassification,可直接加载模型进行推理。
Intel 正式加入 Hugging Face 硬件合作伙伴计划。双方将基于 Optimum 开源库与 Intel Neural Compressor (INC) 协作,通过量化工具简化 Transformer 模型在 Intel Xeon 平台上的加速训练与推理。此前在 Habana Gaudi 加速器上的测试显示,其性价比相比 GPU 高出 40%。
Hugging Face 发布深度强化学习课程第三单元,介绍 Deep Q-Learning 算法。该算法用神经网络替代 Q-table,通过堆叠 4 帧灰度化至 84x84 输入,利用 RL-Zoo 框架训练智能体通关 Space Invaders。
Hugging Face 发布教程,逐步推导 DDPM 原理并在 PyTorch 中实现 U-Net 去噪网络。教程涵盖前向加噪、反向采样及损失函数推导,在 Fashion-MNIST 上训练展示了扩散模型生成过程。
Graphcore 与 Hugging Face 扩展了 Hugging Face Optimum 在 IPU 上的模型支持,开发者可访问 10 个覆盖 NLP、语音和计算机视觉的 Transformer 模型。这些模型包含 BERT、ViT、GPT-2、T5 和 HuBERT 等,均提供 IPU 配置文件及预训练或微调权重。
Hugging Face Hub 正式推出 Pull Requests 和 Discussions 功能,旨在促进模型、数据集和 Spaces 的社区协作。 该功能支持所有用户创建和参与讨论及拉取请求,通过专用的 refs 分支直接处理贡献,避免了使用 forks 和 branches,为机器学习软件提供了简化的协作体验。
微软 TAPEX 模型利用合成 SQL 查询执行数据替代真实数据,成功在四个表格问答基准上刷新 SOTA 纪录。该模型基于 BART 架构,在 WikiTableQuestions 数据集上的准确率达到 57.5%,超越了此前的最佳结果。其微调脚本已官方集成至 Hugging Face Transformers 4.19.0 版本。
Hugging Face 课程解析 Q-Learning,这是一种基于价值的离策略算法,利用时序差分方法更新动作价值函数。 算法通过 Q 表存储状态-动作对的价值,训练初期依赖 Epsilon Greedy 策略平衡探索与利用。课程要求在 Frozen Lake v1 和自动驾驶出租车环境中从零实现该算法。
Hugging Face 多模态学习组发布伦理章程,旨在将数据隐私、算法偏见等伦理原则形式化,作为机器学习全生命周期的核心指引。该文档基于团队与专家讨论制定,明确了禁止生成仇恨言论、泄露个人可识别信息及在高风险领域误用模型等内容策略。团队承诺通过透明披露决策、共享可复现成果及持续自我批评,平衡开放性与公平性,缓解潜在社会危害。
Hugging Face 发布强化学习课程第二单元第一部分,深入讲解基于价值的方法与 Q-Learning 算法。该单元涵盖状态-价值函数、蒙特卡罗方法与时间差分学习(TD Learning)的区别,并指导开发者从零实现 Q-Learning 智能体。课程通过在 Frozen-Lake-v1 和出租车导航环境中训练智能体,为后续掌握能击败人类水平的 Deep Q-Learning 奠定基础。
Hugging Face 推出 Fellowship Program,旨在通过提供算力、物资及官方认可,支持机器学习开源生态的关键贡献者扩大影响力。该计划不设截止时间,通过团队成员或现有 Fellow 提名进行选拔,入选者并非公司员工,但可在公开场合展示其 Hugging Face Fellow 身份。
Gradio 3.0 发布了基于 Svelte 的前端重构,显著减小了 payload 并提升了页面加载速度。该版本引入了 Gradio Blocks 低层 API,支持通过 Python 构建自定义布局和数据流的多步骤 Web 应用。Hugging Face 同期举办 Gradio Blocks Party 竞赛,旨在鼓励用户利用新组件开发机器学习演示。
Hugging Face 发布机器学习总监系列第二部分,聚焦 SaaS 领域,收录 Salesforce 和 Amplitude 高管对 ML 应用与挑战的见解。Salesforce 团队指出 NLP 可优化服务路由,ML 系统比规则系统更简洁;Amplitude 负责人强调缺乏覆盖广泛行业用例的训练数据是主要障碍。
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持,开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由:通过加速问答模型的全流程实操,展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia 和 Coatue 等参投。该平台目前托管超过 10 万个预训练模型和 1 万个数据集,被 1 万多家公司用于构建机器学习技术。Hugging Face 表示将利用新资金加强研发、开源及负责任的 AI 普及。
Hugging Face 推出深度强化学习免费课程,第一章讲解核心概念并指导训练首个着陆智能体。课程涵盖 Markov 决策过程、奖励假设等理论,支持使用 Stable Baselines3 等库在 Unity 环境训练。学员可单行代码发布智能体至 Hugging Face Hub 参与挑战。
Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。
利用 HuggingFace AutoTrain 和 Kili 构建文本分类主动学习管道,通过迭代标注与模型重训优化情感分析。示例使用 Google Play Store 上约 4 万条 Medium 应用评论,定义了订阅、内容、界面及用户体验四个分类。Kili 提供协作标注工具与 API,支持多类别文本分类及命名实体识别,AutoTrain 则自动化数据清洗、模型选择及超参数优化。
summary_zh: Habana Gaudi 加速器在训练机器学习模型时,相比最新 GPU 实例提供高达 40% 的性价比优势。本文演示了如何在 AWS EC2 实例上配置 Gaudi 环境,并微调 BERT 模型完成 GLUE 基准中的 MRPC 文本分类任务。
Hugging Face 启动教育计划,旨在2023年底前教授500万人机器学习。平台提供NLP、深度强化学习等免费课程,并面向教师提供多语言教学工具包与社区协作资源。
Hugging Face 博客展示了利用其生态系统工具模拟真实客户服务场景的方法。该示例将筛选不满客户消息建模为文本分类任务,推荐 Amazon reviews multi 数据集,因其 1-5 星级标签可映射至情感类别,且支持多语言处理。
Hugging Face Hub 新增 emissions_threshold 参数,支持基于 CO2 排放量筛选低排放模型;transformers 库集成 codecarbon,实现训练时自动追踪碳足迹。该功能允许用户通过 API 指定排放量区间检索模型,并将数据记录在 Model Card 中,以提升 ML 开发的透明度。
Hugging Face 机器学习工程师 Lewis Tunstall 分享了他与 Leandro von Werra 合作出版《NLP with Transformers》书籍的经历,该书旨在填补 Transformer 领域的信息空白。 他在 Hugging Face 专注于利用 ONNX 格式导出模型,通过一行代码简化部署流程,从而优化延迟和吞吐量,解决生产环境中的 MLOps 挑战。
Habana Labs 与 Hugging Face 合作,通过集成 SynapseAI 软件套件与 Hugging Face Optimum 开源库,简化在 Habana Gaudi 处理器上训练 Transformer 模型流程。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,而是采用单模型文件策略,确保每个模型的前向传播代码集中在单一文件中。此举旨在降低开源贡献者的门槛,使修补缺陷或添加新模型时无需担心破坏其他代码,同时提升代码可读性以适应机器学习领域的快速演进。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成至 transformers 库和 Hugging Face Hub。该方法利用自回归序列建模根据目标回报生成未来动作,替代传统价值函数最大化过程。用户可获取 9 个针对 Gym 连续控制任务的预训练检查点,并通过设定目标回报来调控策略表现,适用于 Atari 等场景及游戏 AI 难度调节。
Hugging Face 机器学习专家系列节目邀请到曾创立并联合领导 Google 伦理 AI 团队的 Margaret Mitchell 担任嘉宾。她分享了在微软开发 Seeing AI 应用时,因发现视觉模型对爆炸场景产生“美丽”等错误描述而觉醒伦理 AI 重要性的经历。
Hugging Face 推出为期 9 个月的 AI 研究驻留项目,参与者将与科学团队合作探索机器学习前沿技术并公开发表研究成果。该项目旨在推动 AI 领域的多样性与包容性,特别鼓励来自边缘化群体或致力于社会正向影响的研究者申请。申请需展示编程能力与数学基础,截止日期为 4 月 3 日,且仅接受全职参与。
本教程演示如何使用 Hugging Face 自定义数据集微调 Segformer 模型,以实现人行道语义分割。该模型采用层级 Transformer 编码器与简单 MLP 解码器,在多个常见数据集上取得最先进的性能。通过加载 segments/sidewalk-semantic 数据集并应用数据增强,可实现针对特定场景的模型优化。
Hugging Face 官方展示如何利用 datasets 库、sentence_transformers 和 faiss 构建图像搜索应用。该方案使用英国图书馆的书籍插图数据集,通过 datasets 的 ImageFolder 加载器读取图像,并借助 faiss 索引实现基于向量相似度的图像检索,超越了传统标签搜索。