GPT-3 应用定制化:通过单条命令进行微调
OpenAI 提供了针对 GPT-3 的应用定制方法,核心能力是通过单条命令实现模型微调。该流程允许开发者便捷地调整模型行为,以适应特定应用需求。
OpenAI 提供了针对 GPT-3 的应用定制方法,核心能力是通过单条命令实现模型微调。该流程允许开发者便捷地调整模型行为,以适应特定应用需求。
Hugging Face 发布首个自研 Unity ML-Agents 深度强化学习环境 Snowball Fight,支持用户在 Hugging Face Spaces 在线对战。该平台允许开源托管训练环境与模型,并计划在后续版本中支持 2vs2 协作模式,采用 MA-POCA 算法训练团队行为。
Hugging Face 团队推出了名为 Data Measurements Tool(DMT)的开源工具和 Python 库,用于构建、测量和比较数据集。该工具结合 Hugging Face Hub 和 Streamlit,提供无代码界面,支持自动计算描述性统计和分布性统计指标。
OpenAI 宣布其 API 已无需等待名单即可使用。官方称,这一范围的扩大得益于安全进展。
推荐理由:这是 OpenAI 官方里程碑,读者可据此确认其 API 已全面开放且无需排队申请,并了解开放与模型安全进展挂钩的官方叙事。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。
OpenAI 发布改进版 Codex 系统,该系统将自然语言转化为代码,即日起通过 API 提供私有测试服务。
Hugging Face 将 spaCy 纳入其模型库,用户可通过一条命令上传 pipeline 包并生成元数据。Hub 目前提供 60 多个 spaCy 3.1 规范模型,支持命名实体识别(NER)的托管推理 API 及浏览器交互试用。用户还可利用 huggingface-hub 推送功能,将本地模型快速分享至社区。
Hugging Face 发布新的推理 DLCs,允许用户通过一行代码部署训练好的模型,或直接从模型中心选择 10,000+ 个公开模型在 Amazon SageMaker 上进行推理。该工具包利用 transformers 库实现零代码部署,并提供生产级端点支持。
Hugging Face Hub 宣布与 Sentence Transformers v2 集成,在 Hub 中提供覆盖 100 多种语言的 90 多个预训练模型。平台新增 feature-extraction widget 以展示句子嵌入,以及 sentence-similarity widget 用于计算句子相似度,并可通过 Inference API 端点程序化调用模型。
Hugging Face 开源 Accelerate 库,让用户在标准 PyTorch 脚本中仅添加 5 行代码即可运行分布式训练和混合精度训练。该工具抽象了多 GPU、TPU 及 SageMaker 等环境的样板代码,提供统一 API 和 accelerate launch 命令行工具简化部署。
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
Hugging Face 宣布其库已支持通过 PyTorch/XLA 在 Cloud TPU 上训练模型,用户可保持原有 Trainer 接口不变。该集成利用 PyTorch 与 TPU 团队的合作成果,允许用户在 TPU 上运行和扩展模型,同时提供性能基准测试和训练示例。
Hugging Face 发布的 Transformers v4.2.0 显著提升了 BERT 等 TensorFlow 模型的计算性能,在 GPU 环境下较 Google 官方实现快约 10%,且比 v4.1.1 快两倍。
Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。
Hugging Face 发布 pytorch_block_sparse 扩展,提供 BlockSparseLinear 模块以支持块稀疏矩阵计算,使神经网络更小更快。
OpenAI 官方宣布推出 API,允许开发者接入 OpenAI 开发的新 AI 模型。
推荐理由:官方说明新增了访问 OpenAI 新模型的入口,读者可据此判断如何接入其生成式模型能力。
OpenAI 发布 Microscope,这是一套针对八种常用于可解释性研究的视觉“模式生物”的可视化工具。该工具涵盖了所有关键层和神经元的可视化,便于分析神经网络内部形成的特征。
OpenAI 发布 Safety Gym,这是一套用于评估强化学习智能体在训练中遵守安全约束能力的环境与工具集。该工具包旨在帮助开发者衡量迈向安全 AI 模型的进展。
OpenAI 发布 Neural MMO,这是一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持久且开放式的任务中容纳数量可变的大规模智能体,通过引入大量智能体和物种促进更好的探索、分化的利基形成以及整体更强的综合能力。
OpenAI 发布强化学习游戏研究平台 Gym Retro 完整版本,支持游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1,000 款。同时发布了用于向平台添加新游戏的工具。
OpenAI 启动 Retro Contest 迁移学习竞赛,旨在测量强化学习算法从既往经验中泛化的能力。该竞赛聚焦于评估算法在利用先前经验进行迁移学习时的表现。
OpenAI 发布了针对块稀疏权重神经网络架构的高优化 GPU kernels。根据稀疏度选择,这些内核可比 cuBLAS 或 cuSPARSE 快几个数量级。利用这些内核,在文本情感分析和文本及图像生成建模中取得了最先进的结果。
OpenAI 发布 Universe,一款用于测量和训练 AI 通用智能的软件平台。该平台涵盖全球的游戏、网站及其他应用程序。