Hugging Face AutoNLP 与 Prodigy 构建主动学习工作流
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。
Hugging Face 宣布收购机器学习初创公司 Gradio,旨在为用户、开发者和数据科学家提供工具以创建更好的模型。Gradio 是一个开源库,自 2019 年发布以来,已有超过 300,000 个演示应用基于其构建。此次收购将加强机器学习在各类用户中的可访问性,双方团队将共同推动 Gradio 的发展。
OpenAI 宣布启动 OpenAI Residency 项目,旨在支持和培养 AI 人才。
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
Hugging Face 团队在“训练史上最佳句向量模型”项目中,利用 10 亿句对训练数据开发了最先进的句向量模型。该模型基于 Transformer 架构,采用 InfoNCE 对比学习方法,通过增大批量规模、引入困难负样本及跨数据集混合批次优化性能。
Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。
Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。
Hugging Face 与 Amazon SageMaker 合作推出优化的深度学习容器,支持通过一行代码启动 Transformers 模型训练。
OpenAI 发布 Jukebox,这是一个能生成多风格、含基础演唱的原始音频音乐的神经网络模型。官方同时开源了模型权重、代码以及用于探索生成样本的工具。
Hugging Face 发布教程,演示使用 Transformers 和 Tokenizers 库从头训练 84M 参数的小模型 EsperBERTo。该模型在 3GB 的 Esperanto 语料库上预训练,后续针对词性标注任务进行微调。字节级 BPE tokenizer 训练耗时约 5 分钟,编码序列平均长度比 GPT-2 减少约 30%。
OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。
推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。
OpenAI 发布了名为 Spinning Up in Deep RL 的教育资源。该资源旨在帮助任何人成为熟练的深度强化学习实践者。其内容包括清晰的 RL 代码示例、练习、文档和教程。
OpenAI 发布强化学习游戏研究平台 Gym Retro 完整版本,支持游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1,000 款。同时发布了用于向平台添加新游戏的工具。
OpenAI 开源了 RL-Teacher,这是一种通过不定期的人类反馈来训练 AI 的接口实现,替代了手工制作的奖励函数。该底层技术最初是为开发安全的 AI 系统而设计的,但也适用于奖励难以明确指定的强化学习问题。
OpenAI 发布开源软件 Roboschool,用于机器人仿真,并集成到 OpenAI Gym 生态中。
推荐理由:官方推出集成 OpenAI Gym 的机器人仿真开源工具,可供算法开发者在虚拟环境复现控制策略实验。