Hugging Face 发布开源 Data Measurements Tool
Hugging Face 团队推出了名为 Data Measurements Tool(DMT)的开源工具和 Python 库,用于构建、测量和比较数据集。该工具结合 Hugging Face Hub 和 Streamlit,提供无代码界面,支持自动计算描述性统计和分布性统计指标。
Hugging Face 团队推出了名为 Data Measurements Tool(DMT)的开源工具和 Python 库,用于构建、测量和比较数据集。该工具结合 Hugging Face Hub 和 Streamlit,提供无代码界面,支持自动计算描述性统计和分布性统计指标。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。
OpenAI 开源发布 Triton 1.0,这是一种类 Python 的 GPU 编程语言。该语言旨在让没有 CUDA 经验的研究人员能够编写高效的 GPU 代码,其性能在大多数情况下可与专家编写的代码相当。
Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。
Stas Bekman 记录将 fairseq wmt19 翻译系统完整移植到 transformers 库的过程。他使用 en-ru 和 ru-en 模型作为切入点,通过编写转换脚本将 PyTorch 权重转为 transformers 支持格式。最终实现了包含 FSMT 配置、模型架构及分词器在内的完整代码支持。
Hugging Face Transformers 3.1 与 Ray Tune 集成,简化大语言模型超参数调优。实验显示,Population-based Training 在 BERT 上取得 78% 最佳验证准确率,优于网格搜索。用户仅需几行代码即可调用 Ray Tune 算法进行微调。
Hugging Face 发布 pytorch_block_sparse 扩展,提供 BlockSparseLinear 模块以支持块稀疏矩阵计算,使神经网络更小更快。
Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。
推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。
OpenAI 发布 Procgen Benchmark,提供 16 个简单易用的程序化生成环境。该基准直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。
OpenAI 发布八套机器人模拟环境和一套 Hindsight Experience Replay 的 Baselines 实现,称过去一年中已使用这些环境训练出可在物理机器人上运行的模型,同时开放一组机器人研究课题请求。
OpenAI 发布了两种新的 OpenAI Baselines 强化学习实现:ACKTR 和 A2C。A2C 是 A3C 的同步确定性变体,性能与 A3C 相当;ACKTR 相比 TRPO 和 A2C 具有更高的样本效率,且每次更新的计算量仅略高于 A2C。
OpenAI 开源内部项目 OpenAI Baselines,旨在复现强化学习算法并达到已发表结果的性能水平。今日发布的内容包含 DQN 及其三种变体,后续数月内将逐步释出更多算法。
OpenAI 发布开源软件 Roboschool,用于机器人仿真,并集成到 OpenAI Gym 生态中。
推荐理由:官方推出集成 OpenAI Gym 的机器人仿真开源工具,可供算法开发者在虚拟环境复现控制策略实验。