应用人类反馈强化学习提升摘要能力
OpenAI 将基于人类反馈的强化学习应用于语言模型训练,以提升其摘要性能。
OpenAI 将基于人类反馈的强化学习应用于语言模型训练,以提升其摘要性能。
OpenAI 发布 Jukebox,这是一个能生成多风格、含基础演唱的原始音频音乐的神经网络模型。官方同时开源了模型权重、代码以及用于探索生成样本的工具。
OpenAI 发布 GPT-2 阶段发布计划的最后一版,即 1.5B 参数模型,并开放代码与模型权重,便于检测 GPT-2 模型输出。原文说明,尽管 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划推进,希望这一完整的阶段发布实践能对未来开发强大模型的团队有帮助,并继续与 AI 社区讨论负责任的发布方式。
推荐理由:GPT-2 1.5B 作为阶段发布计划最后一版同步开放代码与权重,为社区提供了检测 GPT-2 输出的工具。
OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。
推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。
OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。
OpenAI Five 在本周温哥华举行的 The International 2018 中,先后输掉两局对局。尽管在双方博弈的前 20 至 35 分钟内,系统一直保持着不错的获胜几率,但最终未能战胜顶尖的 Dota 2 职业选手。
OpenAI 训练了一个类人机器人手,能够以前所未有的灵活性操作物理物体。该模型展示了在实体交互中极高的操控精准度与适应性。
OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。
OpenAI 发布了一款 Dota 2 智能体,在标准锦标赛规则下 1v1 比赛中击败了世界顶尖职业选手。该模型通过纯自对弈从零开始学习游戏机制,未使用模仿学习或树搜索技术。
OpenAI 开源了 RL-Teacher,这是一种通过不定期的人类反馈来训练 AI 的接口实现,替代了手工制作的奖励函数。该底层技术最初是为开发安全的 AI 系统而设计的,但也适用于奖励难以明确指定的强化学习问题。