展会信息港展会大全

谷歌大脑AI飞速解锁雅达利,训练不用两小时:预测能力前所未有
来源:互联网   发布日期:2019-03-07 15:54:48   浏览:16642次  

导读:栗子懒 发自 凹非寺 量子位 报道 | 公众号 QbitAI 不是训练两小时,是相当于人类玩两小时。 AI玩个游戏,一定要打几十万上百万局才能学会? 谷歌大脑给自家的强化学习AI,建造了一个有的放矢的高效学习环境:基于视频预测的模拟器SimPLe。 团队说,模拟器的...

栗子懒 发自 凹非寺

量子位 报道 | 公众号 QbitAI

不是训练两小时,是相当于人类玩两小时。

AI玩个游戏,一定要打几十万上百万局才能学会?

谷歌大脑给自家的强化学习AI,建造了一个有的放矢的高效学习环境:基于视频预测的模拟器SimPLe。

团队说,模拟器的预测能力前所未有,有时可以一帧都不错:

左为模拟器,中为Ground Truth,右为差别

有了它,AI的学习压力明显减轻,只需要相当于人类玩两小时的训练强度,就能解锁雅达利游戏。

与优秀的无模型前辈Rainbow相比,基于模型的SimPLE要训练到相同的成绩,运动量能减少一个数量级。

乒乓球21:0

怎样的模拟器?

和许多游戏AI前辈不同,SimPLe的智能体不是在真实游戏里训练的。

它的游戏策略,完全是在模拟器里炼成的。

这里,有个视频预测模型,会给AI的每个动作预测一个结果。按照谷歌的传统,它也叫世界模型 (World Model) 。

为什么要有这个模型?

在许多雅达利游戏里面,随机探索是很难获得足够多样化的数据的:

有些地方智能体可能没去过,有些动作智能体可能没做过。

环境数据不够丰富,AI就不能更有效地学习。

所以,要让智能体用更高效的方法探索世界:

团队用了一个迭代过程,由数据收集、模型训练、策略训练三个阶段交替而成。

这样,随着智能体的策略 (Policy) 变得越来越好用,模拟器的预测能力也越来越强。

相辅相成之间,智能体不用像没头苍蝇随性试错,便能更快解锁游戏技能了。

怎样预测?

试用了几种不同的架构,团队发现最好的模型是前馈CNN,用一叠卷积编码了一个输入帧 (Input Frames) 的序列。

给定智能体做出的动作,模型就能依靠一叠反卷积 (Deconvolution) ,解码下一郑

研究人员还发现,给模型引入随机性(Stochasticity) 非常有效,可以让策略在更加丰富的场景里,得到训练。

具体做法是,加入一个潜在变量(Latent Variable) ,把它的样本加到瓶颈表征 (Bottleneck Representation) 里面去。

在这项研究的设定下,离散变量是最好用的,被编码成比特序列 (Sequences of Bits) 。

有点像变分自编码器 (Variational Autoencoder) :潜在变量的后验,是基于整个序列近似出来的;

从后验里取出一个值,再用上输入帧和智能体的动作,来预测下一郑

最终,有了一个随机离散模型(Stochastic Discrete Model) ,长这样:

成果喜人

注意,团队并没有为了雅达利的不同游戏,特别调整过模型,也没有特别调整过超参数。

AI玩家表现

训练过程中,环境变化了40万帧,智能体和环境的互动,只有10万次:相当于人类玩耍两小时。

你看,AI打“乒乓球” (Pong) 已经能刷对方一个光头。可能找到了系统的弱点:

更有趣的是“过马路” (Freeway) 游戏。

看上去简单,但对探索的要求非常高。

在这里,智能体是只小鸡,它的进步是很慢的,因为不停地被车撞。

那么,很难成功过一次马路,所以几乎得不到奖励。

不过,SimPLe捕捉到这样稀有的事件,把它们内化到预测模型里面去,学习到优秀的策略。

对比一下,发现在过马路游戏里,达到相同的成绩,SimPLe和环境互动的次数比Rainbow前辈少了一个数量级。

而在大多数游戏里,SimPLe和环境的互动次数,都比Rainbow少了一半以上。

预测之星

拿到这样的成绩,模拟器的预测居功至伟。

团队在AI游戏视频里,发现了许多完美预测的片段,最长达到50个时间步。

比如,过马路里有连续的11秒,模型预测的每一帧都和Ground Truth一毛一样。

另外,乒乓球和打砖块(Brick) 里面,也发现过这样的片段。

团队说,把完美预测的时间再延长,是个很好的研究方向了。

也遇到了困难

有些游戏里,预测模型根本生成不了有用的预测。

研究人员说,最常见的原因,是有些很小的物体,左右了玩家的命运:

比如在亚特兰提斯 (Atlantis) 和战区 (Battle Zone) 里,子弹很小,又稍纵即逝。

团队说,如果想注意到它们,还是让视频预测模型,慢速高清地观察比赛现场吧。

论文传送门:

https://arxiv.org/abs/1903.00374

赞助本站

人工智能实验室

相关热词: AI 人工智能 谷歌大脑

AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港