跳到正文
11月30日周三
  1. OpenAI95

    OpenAI 发布 ChatGPT

    OpenAI 发布能进行对话式交互的模型 ChatGPT,支持回答追问、承认错误、反驳错误前提并拒绝不当请求。

    推荐理由:ChatGPT 官方首次介绍,明确了对话式交互和纠正错误、拒绝不当请求等能力边界。

10月5日周三
9月21日周三
7月12日周二
  1. Hugging Face Blog89

    Hugging Face 发布 BLOOM:世界最大开源多语言大模型

    Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。

    推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。

3月15日周二
2月2日周三
1月27日周四
  1. OpenAI95

    OpenAI 发布 InstructGPT 模型

    OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。

    推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。

12月16日周四
10月25日周一
10月20日周三
  1. Hugging Face Blog37

    Hugging Face Blog 指出 Transformer 架构正成为机器学习通用架构

    Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。

7月15日周四
1月5日周二
  1. OpenAI76

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 介绍了一种名为 CLIP 的神经网络,它通过自然语言监督高效学习视觉概念。CLIP 可用于任何视觉分类基准,只需提供要识别的视觉类别名称即可,具有类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:展示了通过自然语言监督学习视觉概念的方法,确立了零样本图像分类的新范式。

9月4日周五
4月30日周四
11月5日周二
  1. OpenAI77

    GPT-2: 1.5B 发布

    OpenAI 发布 GPT-2 阶段发布计划的最后一版,即 1.5B 参数模型,并开放代码与模型权重,便于检测 GPT-2 模型输出。原文说明,尽管 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划推进,希望这一完整的阶段发布实践能对未来开发强大模型的团队有帮助,并继续与 AI 社区讨论负责任的发布方式。

    推荐理由:GPT-2 1.5B 作为阶段发布计划最后一版同步开放代码与权重,为社区提供了检测 GPT-2 输出的工具。

8月20日周二
  1. OpenAI65

    OpenAI 发布 GPT-2 774M 参数模型及开源协议

    OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。

    推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。

4月25日周四
  1. OpenAI43

    OpenAI 发布 MuseNet 音乐生成模型

    OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。

8月23日周四
7月30日周一
7月9日周一
  1. OpenAI29

    OpenAI 发布可逆生成模型 Glow

    OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。

8月11日周五
8月3日周四