文章图片
文章图片
AI看 70000小时《我的世界》视频 ， 能达到一个什么水平？
以“钻石镐” （diamond pickaxe）为例 ， 这个东西高级人类玩家要快速点击20分钟、约2.4万个动作才能制作完成 。
而现在的AI ， 已然能够轻松hold住了 。
哐哐找到各种材料 ， 一步步进行各种合成：
【我的世界|AI看了70000小时《我的世界》视频学会人类高级技巧，网友：它好痛苦】这就是来自OpenAI号称最强的《我的世界》AI—— MineDojo 。
它还是 世界第一个能够打造“钻石工具”的AI 。
不仅如此 ， 像打造“石镐”、“简易避难所”都不在话下：
当然 ， 在《我的世界》里其它的常规操作 ， 在MineDojo手里也游刃有余 。
例如游泳、狩猎、支柱跳等等：
至于OpenAI为什么要让AI学会这些技巧 ， 研究人员Bowen Baker表示：
MineDojo是如何炼成的？
很大程度上是因为我们在模拟人类上网时的行为 。
正如我们刚才提到的 ， MineDojo的“炼成之道” ， 就是 看视频 。
这些视频内容都是人类玩家发布在油管上 ， 展示自己如何玩《我的世界》的 。
然后在看完70000小时视频之后 ， 这个AI就学会了如何执行游戏中的各种任务 。
这种方式一般被称为 模仿学习（imitation learning） ， 就是训练神经网络通过观察人类行为来学习 。
虽然此前也有众多相关研究 ， 但仍有一些问题尚待解决 。
“贴标签”就是其中之一 。
传统方式就是在每一个动作上贴上标签：这么做会发生这件事、那么做会发生那件事 。
但这种方式可想而知的后果 ， 就是工作量太大了 ， 导致可以用来训练的数据较少 。
因此 ， OpenAI的研究人员便另辟蹊径 ， 想出了不一样的研究思路—— 视频预训练（Video Pre-Training ， VPT）：
这个方法的核心思路 ， 就是训练另一个神经网络 ， 专门来处理繁琐的“贴标签”的工作 。
为此 ， 研究人员先是找来一批玩家让他们先玩《我的世界》 ， 当然 ， 娱乐的同时也要记录下键盘、鼠标的点击次数 。
如此一来 ， 研究人员先是得到了2000小时带标记的一些数据 。
在这基础上 ， 他们便开始训练一个模型 ， 来匹配键盘、鼠标动作和屏幕上的结果——
例如在什么情况下点下鼠标 ， 会让游戏中的角色挥舞斧头 。
把这个模型训练出来之后 ， 就要引入70000小时没有标签的视频了；在它的加持下 ， 庞大且可用的数据集就诞生了 。
再接下来 ， 就是回到之前模仿学习的思路 ， 用这些新数据来训练AI 。
虽说模仿学习可以说是强化学习的一个分支 ， 但OpenAI的研究人员发现 ， VPT训出来的AI ， 能够完成单靠强化学习无法完成的任务 。
比如制作木板并把它们变成一张桌子 （大约需要970个连续动作） 。
不仅如此 ， 研究人员还发现 ， 若是把模仿学习和强化学习做个结合 ， 那么效果是最好的 。
而由《我的世界》这次的研究拓展开来 ， OpenAI的研究人员还表示：
《我的世界》已经成为AI技术试验田
我们的AI还可以执行其它任务 ， 例如鼠标浏览网站、预订航班或在线购物 。
其实OpenAI这次研究的亮点 ， 刨除VPT方法本身 ， 其研究的两大要素—— 《我的世界》和 视频 ， 也成为人们热议的焦点 。
《我的世界》这款游戏的一大特点就是 开放性 ， 玩家可以在这个虚拟世界里做出许多意想不到的杰作 。
不同于以往强化学习训练AI的游戏环境 ， 大多都是以“输赢”为结果而终止了 ， 但往往AI后期训练出来的能力可能是超越这种“限制”的 。
但《我的世界》就没有“输赢”之说了 ， AI可以在这里尽情的发挥 。 因此OpenAI研究人员表示：
而这也赢得了NeurIPS的认可——MineDojo拿下了今年这个顶会的一个奖项 。
《我的世界》是训练AI很好的试验田 。
至于这项研究第二个热议点“视频” ， 正如索尼执行董事Peter Stone所述：
视频是一种潜力巨大的培训资源 。
推荐阅读
- “转”出一片新天地——“世界锑都”锡矿山推进产业转型升级综述
- 家乡的变化
- 世界技能大赛|初入职场，这五种学生思维要不得
- 张嘉倪|张嘉倪：不红是我的选择，他不给婚礼，我永远不喊妈
- 魔兽小说顺序知乎 魔兽小说顺序
- 张兰|把生活过成了闹剧，与世界杯分热度，收拾烂摊子的张兰却成了赢家
- 高三冲刺语录八字 高三冲刺语录
- 激荡的百年史读后感
- 王嘉尔|双厨狂喜！bkpp都去看了王嘉尔的演唱会，并且合照动作都一样
- 宁波|厉害了！浙江“00后”小伙拧螺丝成世界冠军，网友：职教春天来了
