OpenAI 提出基于能量函数的概念学习模型
OpenAI 开发出一种基于能量函数的模型,能通过学习二维点集快速识别和生成“近”、“上”等空间概念,仅需五次演示。该模型展示了跨领域迁移能力,可将在二维粒子环境中学习的概念应用于基于三维物理的机器人任务中。
OpenAI 开发出一种基于能量函数的模型,能通过学习二维点集快速识别和生成“近”、“上”等空间概念,仅需五次演示。该模型展示了跨领域迁移能力,可将在二维粒子环境中学习的概念应用于基于三维物理的机器人任务中。
OpenAI 开发了随机网络蒸馏(Random Network Distillation, RND)方法,这是一种基于预测的奖励机制,旨在通过好奇心驱动强化学习智能体探索环境。RND 在蒙特祖玛的复仇(Montezuma’s Revenge)游戏中首次超越了人类平均表现。
OpenAI 提出一种名为迭代增强(iterated amplification)的 AI 安全技术。该方法通过分解任务而非提供标注数据来指定复杂行为与目标,目前仅在简单玩具算法领域完成实验。
OpenAI 现已启动 2019 年学者计划第二期申请。该项目将向来自弱势群体的个人提供 6 至 10 份津贴及导师指导。入选者需全职研习深度学习 3 个月,并完成一个开源项目。
OpenAI Five 在本周温哥华举行的 The International 2018 中,先后输掉两局对局。尽管在双方博弈的前 20 至 35 分钟内,系统一直保持着不错的获胜几率,但最终未能战胜顶尖的 Dota 2 职业选手。
OpenAI Five 在 Dota 比赛中以三局两胜战胜由第 99.95 百分位玩家组成的战队。该对战在五名人类选手(其中四人拥有职业 Dota 经验)面前进行,吸引了 10 万名并发直播观众观看。
OpenAI 训练了一个类人机器人手,能够以前所未有的灵活性操作物理物体。该模型展示了在实体交互中极高的操控精准度与适应性。
OpenAI 首期 Scholars 项目启动。该计划招收经验丰富的软件开发者,帮助他们成为机器学习从业者。
OpenAI Five 基准测试(Benchmark match)现已结束。由于原文信息极少,仅确认了该事件的状态,未包含具体比分、模型参数或技术细节。
OpenAI 推出可逆生成模型 Glow,该模型使用可逆 1x1 卷积扩展了此前的可逆生成模型研究并简化了架构。Glow 能够生成逼真的高分辨率图像,支持高效采样,并能发现用于操控数据属性的特征。OpenAI 已发布该模型的代码及在线可视化工具,供研究人员探索和基于此成果进行开发。
OpenAI 训练智能体从单次人类演示中在《蒙特祖玛的复仇》中获得 74,500 高分,优于此前公开结果。算法从演示中精心选择的状态开始进行一系列游戏,并使用 PPO 优化游戏得分。
OpenAI 的五模型神经网络团队 OpenAI Five 开始战胜 Dota 2 业余人类队伍。该团队由 5 个独立的神经网络组成,在对抗业余选手时展现出超越人类水平的团队协作能力。
OpenAI 发布强化学习游戏研究平台 Gym Retro 完整版本,支持游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1,000 款。同时发布了用于向平台添加新游戏的工具。
OpenAI 提出一种 AI 安全方法,该方法训练智能体就特定话题相互辩论,并由人类判断胜负。
OpenAI发布了一种名为Evolved Policy Gradients (EPG) 的实验性元学习方法。该方法通过进化学习代理的损失函数来实现在全新任务上的快速训练,使得代理在面对超出其训练机制的测试任务时(如在房间不同侧面寻找物体)也能成功执行。
推荐理由:介绍了一种通过进化损失函数来加速新任务训练的实验性元学习方法,其核心价值在于揭示了提升智能体快速适应未知环境能力的技术路径。
OpenAI 启动 Retro Contest 迁移学习竞赛,旨在测量强化学习算法从既往经验中泛化的能力。该竞赛聚焦于评估算法在利用先前经验进行迁移学习时的表现。
OpenAI 开发了名为 Reptile 的简单元学习算法,通过反复采样任务并执行随机梯度下降来更新初始参数。该算法是 Shortest Descent 在元学习中的应用,在计算效率和性能上与仅需要优化器黑盒访问的一阶 MAML 相似,且数学形式接近。
OpenAI 启动 Scholars 项目,为来自代表性不足群体的个人提供 6 至 10 份奖学金及导师指导。受助者将全职学习深度学习 3 个月,并开源一个项目。
OpenAI 发布八套机器人模拟环境和一套 Hindsight Experience Replay 的 Baselines 实现,称过去一年中已使用这些环境训练出可在物理机器人上运行的模型,同时开放一组机器人研究课题请求。
OpenAI 联合 Future of Humanity Institute 等多家机构共同撰写了一篇论文,预测恶意行为者可能如何滥用 AI 技术。该论文是历时近一年的合作成果,旨在探讨预防此类威胁及缓解潜在风险的方法。
OpenAI 构建了一套用于实体消歧的系统。该系统通过神经网络判断词语是否属于约 100 个自动发现的“类型”(非互斥类别),从而确定词语所指的具体对象。
OpenAI 发布新一批七个在研究过程中产生的未解决问题。该批次为“Requests for Research 2.0”项目的一部分,旨在列出当前亟待解决的研究难题。
OpenAI 发布了针对块稀疏权重神经网络架构的高优化 GPU kernels。根据稀疏度选择,这些内核可比 cuBLAS 或 cuSPARSE 快几个数量级。利用这些内核,在文本情感分析和文本及图像生成建模中取得了最先进的结果。
OpenAI 开发了一种分层强化学习算法,能学习高层动作以快速解决需数千步的任务。该算法在导航问题中自动发现行走和爬行的高层动作,使智能体能够迅速掌握新的导航任务。
OpenAI 推出最新机器人技术,使在仿真中训练的控制器部署于实体机器人后,能对环境突发变化做出反应。该技术将原有的开环系统升级为闭环系统,提升了机器人在简单任务执行中应对非计划环境变化的能力。
OpenAI 指出自对弈使模拟 AI 能够发现如擒抱、闪避、假动作等物理技能,无需在设计环境中明确设定这些技能。结合 Dota 2 自对弈结果,OpenAI 认为自对弈将成未来强大 AI 系统的核心部分。
OpenAI 发布名为 Learning with Opponent-Learning Awareness (LOLA) 的算法,该算法在博弈中考虑其他智能体也在进行学习的因素。LOLA 能够在囚徒困境博弈中探索出如以牙还牙等兼具利己性与合作性的策略。这一进展是迈向能够模拟他者心智的智能体的一小步。
OpenAI 发布了两种新的 OpenAI Baselines 强化学习实现:ACKTR 和 A2C。A2C 是 A3C 的同步确定性变体,性能与 A3C 相当;ACKTR 相比 TRPO 和 A2C 具有更高的样本效率,且每次更新的计算量仅略高于 A2C。
OpenAI 展示了自我对弈能将机器学习系统性能从远低于人类水平推至超人类水平。在一个月内,该系统从勉强匹配高分玩家到击败顶级职业选手并持续提升。监督学习系统受限于训练数据集,而自我对弈系统的数据随智能体变强自动改善。
OpenAI 发布了一款 Dota 2 智能体,在标准锦标赛规则下 1v1 比赛中击败了世界顶尖职业选手。该模型通过纯自对弈从零开始学习游戏机制,未使用模仿学习或树搜索技术。
OpenAI 开源了 RL-Teacher,这是一种通过不定期的人类反馈来训练 AI 的接口实现,替代了手工制作的奖励函数。该底层技术最初是为开发安全的 AI 系统而设计的,但也适用于奖励难以明确指定的强化学习问题。
OpenAI 指出,在强化学习算法参数中添加自适应噪声通常能提升性能。这种探索方法实现简单,且极少导致性能下降,适用于各类问题的尝试。
OpenAI 发布 Proximal Policy Optimization 强化学习算法,其性能与现有最先进方法相当或更优,且实现与调优更简单,因此成为 OpenAI 内部默认的强化学习算法。
推荐理由:该算法实现简洁且易于调优,已成为 OpenAI 强化学习工作的默认方法,适合需要低成本落地的工程参考。
OpenAI 创建了能在多种尺度和视角下可靠欺骗神经网络分类器的图像。这一成果反驳了上周关于自动驾驶汽车因从多尺度、多角度和视角捕获图像而难以被恶意欺骗的说法。
OpenAI 与 DeepMind 安全团队合作开发了一种新算法,该算法通过询问两个行为中哪个更好来推断人类想要什么。这一进展旨在消除人类编写目标函数的需求,从而避免使用简单代理或设定复杂目标出错导致的不利甚至危险行为。
多智能体环境被视为通往 AGI 的阶梯,具有自然课程和缺乏稳定均衡两大特性。环境难度由竞争对手技能决定,若与自身克隆体竞争,难度将精确匹配技能水平。无论智能体多聪明,始终存在变得更智能的压力。
OpenAI 开源内部项目 OpenAI Baselines,旨在复现强化学习算法并达到已发表结果的性能水平。今日发布的内容包含 DQN 及其三种变体,后续数月内将逐步释出更多算法。
OpenAI 发布了首个完全在模拟环境中训练并部署于物理机器人的系统。该系统在观看一次任务演示后,即可自主学习并执行新任务。
OpenAI 发布开源软件 Roboschool,用于机器人仿真,并集成到 OpenAI Gym 生态中。
推荐理由:官方推出集成 OpenAI Gym 的机器人仿真开源工具,可供算法开发者在虚拟环境复现控制策略实验。
OpenAI 发现进化策略在现代强化学习基准(如 Atari/MuJoCo)上的性能可与标准强化学习技术相匹敌。该方法克服了强化学习中的诸多不便,展现了作为可扩展优化替代方案的潜力。