GPT-4
GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。
GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。
Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。
OpenAI 发布 Point-E 模型,该系统能够从复杂提示词生成 3D 点云。
推荐理由:官方发布3D点云生成模型,展示了从复杂提示词生成三维空间结构的技术能力。
OpenAI 宣布推出一款新的嵌入模型。该模型在能力上显著增强,更具成本效益,且使用更简单。
VQ-Diffusion 是中科大与微软提出的条件潜扩散模型,其加噪和去噪过程在由离散向量组成的量化潜空间上进行。文中介绍了 VQ-VAE 编码器将图像转换为离散 token 的流程,并解释了基于 Transformer 的近似逆向过程。
rinna 公司发布专为日语优化的文生图模型 Japanese Stable Diffusion,该模型通过在日语数据集上微调 Stable Diffusion 生成,能够理解日语提示词并生成反映日本文化特征(如“salary man”形象)的图片。
OpenAI 训练并开源了名为 Whisper 的神经网络,其在英语语音识别上具备接近人类水平的鲁棒性和精度。
推荐理由:官方开源了具备类人鲁棒性和精度的英语语音识别模型。
Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。
OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。
推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。
Hugging Face 团队在“训练史上最佳句向量模型”项目中,利用 10 亿句对训练数据开发了最先进的句向量模型。该模型基于 Transformer 架构,采用 InfoNCE 对比学习方法,通过增大批量规模、引入困难负样本及跨数据集混合批次优化性能。
Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。
OpenAI 介绍了一种名为 CLIP 的神经网络,它通过自然语言监督高效学习视觉概念。CLIP 可用于任何视觉分类基准,只需提供要识别的视觉类别名称即可,具有类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:展示了通过自然语言监督学习视觉概念的方法,确立了零样本图像分类的新范式。
OpenAI 将基于人类反馈的强化学习应用于语言模型训练,以提升其摘要性能。
OpenAI 发布 Jukebox,这是一个能生成多风格、含基础演唱的原始音频音乐的神经网络模型。官方同时开源了模型权重、代码以及用于探索生成样本的工具。
OpenAI 发布 Procgen Benchmark,提供 16 个简单易用的程序化生成环境。该基准直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI 发布 GPT-2 阶段发布计划的最后一版,即 1.5B 参数模型,并开放代码与模型权重,便于检测 GPT-2 模型输出。原文说明,尽管 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划推进,希望这一完整的阶段发布实践能对未来开发强大模型的团队有帮助,并继续与 AI 社区讨论负责任的发布方式。
推荐理由:GPT-2 1.5B 作为阶段发布计划最后一版同步开放代码与权重,为社区提供了检测 GPT-2 输出的工具。
OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。
推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。
OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。
OpenAI Five 在本周温哥华举行的 The International 2018 中,先后输掉两局对局。尽管在双方博弈的前 20 至 35 分钟内,系统一直保持着不错的获胜几率,但最终未能战胜顶尖的 Dota 2 职业选手。
OpenAI 训练了一个类人机器人手,能够以前所未有的灵活性操作物理物体。该模型展示了在实体交互中极高的操控精准度与适应性。
OpenAI 训练智能体从单次人类演示中在《蒙特祖玛的复仇》中获得 74,500 高分,优于此前公开结果。算法从演示中精心选择的状态开始进行一系列游戏,并使用 PPO 优化游戏得分。
OpenAI 开源了 RL-Teacher,这是一种通过不定期的人类反馈来训练 AI 的接口实现,替代了手工制作的奖励函数。该底层技术最初是为开发安全的 AI 系统而设计的,但也适用于奖励难以明确指定的强化学习问题。