使用 Optimum 和 Transformers pipelines 加速推理教程
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持，开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由：通过加速问答模型的全流程实操，展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
技术方向
开源生态 最新动态
开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
86 条精选近 30 天 25 条共收录 276 条
更新
精选归档 · 第 5 页
Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6464 Hugging Face 教程：从零开始训练 CodeParrot 代码生成模型
Hugging Face 发布教程，介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练，并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由：提供了训练 GPT-2 大模型的具体步骤，涵盖数据清洗、分词器设计和分布式训练，可复用于自研代码模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 深入解析 Reformer 长序列建模的内存优化技术
Hugging Face 官方博客通过公式推导和基准测试，详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术，展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。
推荐理由：原文拆解了 Reformer 四大内存优化组件，并给出基准测试数据，帮助读者理解长序列模型的工程实现取舍。
OpenAI News精选AI 评分7474 OpenAI 发布生成式音乐模型 Jukebox
OpenAI 发布 Jukebox，这是一个能生成多风格、含基础演唱的原始音频音乐的神经网络模型。官方同时开源了模型权重、代码以及用于探索生成样本的工具。
OpenAI News精选AI 评分6565 OpenAI 发布 GPT-2 774M 参数模型及开源协议
OpenAI 发布 7.74 亿参数的 GPT-2 语言模型，这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系，并发表技术报告说明与 AI 研究界协调发布规范的经验。
推荐理由：官方说明分阶段发布774M参数模型及开源协议，展示了协调AI社区处理潜在滥用的具体实践。
OpenAI News精选AI 评分6868 OpenAI 开源机器人仿真工具 Roboschool
OpenAI 发布开源软件 Roboschool，用于机器人仿真，并集成到 OpenAI Gym 生态中。
推荐理由：官方推出集成 OpenAI Gym 的机器人仿真开源工具，可供算法开发者在虚拟环境复现控制策略实验。