跳到正文
3月14日周二
  1. OpenAI39

    GPT-4

    GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。

3月6日周一
  1. Hugging Face Blog50

    Kakao Brain 与 Hugging Face 发布开源 COYO 数据集及 ViT、ALIGN 模型

    Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。

12月16日周五
12月15日周四
11月30日周三
10月5日周三
9月21日周三
7月12日周二
  1. Hugging Face Blog89

    Hugging Face 发布 BLOOM:世界最大开源多语言大模型

    Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。

    推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。

1月27日周四
  1. OpenAI95

    OpenAI 发布 InstructGPT 模型

    OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。

    推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。

10月25日周一
7月15日周四
1月5日周二
  1. OpenAI76

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 介绍了一种名为 CLIP 的神经网络,它通过自然语言监督高效学习视觉概念。CLIP 可用于任何视觉分类基准,只需提供要识别的视觉类别名称即可,具有类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:展示了通过自然语言监督学习视觉概念的方法,确立了零样本图像分类的新范式。

9月4日周五
4月30日周四
12月3日周二
11月5日周二
  1. OpenAI77

    GPT-2: 1.5B 发布

    OpenAI 发布 GPT-2 阶段发布计划的最后一版,即 1.5B 参数模型,并开放代码与模型权重,便于检测 GPT-2 模型输出。原文说明,尽管 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划推进,希望这一完整的阶段发布实践能对未来开发强大模型的团队有帮助,并继续与 AI 社区讨论负责任的发布方式。

    推荐理由:GPT-2 1.5B 作为阶段发布计划最后一版同步开放代码与权重,为社区提供了检测 GPT-2 输出的工具。

8月20日周二
  1. OpenAI65

    OpenAI 发布 GPT-2 774M 参数模型及开源协议

    OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。

    推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。

4月25日周四
  1. OpenAI43

    OpenAI 发布 MuseNet 音乐生成模型

    OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。

8月23日周四
7月30日周一
7月4日周三
8月3日周四