跳到正文
11月29日周一
9月14日周二
  1. Hugging Face Blog34

    Hugging Face 开源发布 Optimum:针对大规模 Transformer 的优化工具包

    Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。

7月28日周三
7月15日周四
11月3日周二
11月2日周一
9月10日周四
7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。

12月3日周二
7月9日周一
  1. OpenAI29

    OpenAI 发布可逆生成模型 Glow

    OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。

2月26日周一
8月18日周五
5月24日周三
5月15日周一