AlphaGo Zero 能够取得突破的关键瓶颈在哪里
谢邀。一句话概括就是 DeepMind 整体对强化学习的深入探究指导了 Zero 的设计。
首先很感谢 DeepMind 团队对人类关于围棋认知的贡献。但更令人兴奋的是，人工智能技术能够取得的成就已经让人类感到震惊。相信不久的未来来自全球各地的团队会带来越来越多的全新体验和认知升级。
理念层面，我觉得 DeepMind 对事物本质的探求是其不断突破天花板的源泉。抓住一个小小的口子，比如 DQN 上的突破，将整个领域切开，迅速找到能够解决得很好的问题，逐步形成更深的领域认知。大多数设计者对于围棋这款游戏是充满的热情和好奇的。
AlphaGo 的能力决定因素有几点：MCTS、RL 及 Deep Learning。用于近似的神经网络也能够受益于深度学习飞速发展不断进步。随着层次和结构的复杂，网络的表达能力已经在很多任务上超过人类最佳水平。比如 ImageNet 任务的ResNet。
RL 技术历史悠远，但近来的发展同样喜人。来自各个方向的学者贡献了大量的创新思路。有些是将几十年前的论文思想发展，有些也是新人老人结合产生的突破。
除了软件和算法的进步，硬件设施的针对性的调整确实也能够让模型训练变得更加快速。
下面看看具体的点，
First and foremost, it is trained solely by self-play reinforcement learning, starting from random play, without any supervision or use of human data. 这次的算法更加像是传统的强化学习模型，直接通过 trial-and-error 进行学习，而不需要人类的经验数据。这可能是最关键的突破点。怎么去自我对弈，这也是很有讲究的。其中的奥妙就是算法设计的精妙之处，比如说在德州扑克中的一些 self-play 的方法。
Second, it only uses the black and white stones from the board as input 选择黑白子作为输入
Third, it uses a single neural network, rather than separate policy and value networks. 这里的影响应该不大，但是也需要解决一些问题，或者说这样的处理就是更为直接的结构，我们去设计算法的时候觉得理解方便的模型，说不定却对真实问题的认知缺乏足够的复杂度的。这里面其实关键是深度学习的模型的能力提升，使得我们可以直接用单个神经网络来刻画原来需要两个网络的特性。
Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any MonteCarlo rollouts. 直接通过上述神经网络来评估位置和采样走法，不需要 Monte Carlo 的 rollouts。这对于加快训练肯定是很有帮助的。所以深度学习的发展也还是能够增强 AlphaGo Zero 的网络的表达能力和预测能力。
To achieve these results, we introduce a new reinforcement learning algorithm that incorporates lookahead search inside the training loop, resulting in rapid improvement and precise and stable learning.lookahead 搜索起到了关键作用。
关键作用几乎全部是算法层面的创新设计。
附 DeepMind 在 AMA 上的回答：
AMA: We are David Silver and Julian Schrittwieser from DeepMind’s AlphaGo team. Ask us anything. 由 David_Silver 於 MachineLearning 發佈
We\u0026#39;ve open sourced a lot of our code in the past, but it\u0026#39;s always a complex process. And in this case, unfortunately, it\u0026#39;s a prohibitively intricate codebase.
【AlphaGo Zero 能够取得突破的关键瓶颈在哪里】 David_Silver 3 指標 13 分鐘前
Interpretability is a really interesting question for all of our systems, not just AlphaGo. We have teams working across DeepMind trying to come up with novel ways to interrogate our systems. Most recently they published work that draws on techniques from cognitive psychology to try to decipher what is happening inside matching networks… and it worked pretty nicely!
推荐阅读
- 汽车很听话|换成了8AT没有OTA的领克01，能够成为爆款吗？
- 「巧克力中富含黄烷醇，能够增强脑部活动能力；因此人均巧克力消费量越高的国家，按人口平均计算的诺贝尔奖得主人数就越多。」这种说法科学么
- 想买个30w—50w的轿车，外形优雅精致，气质沉静内敛。要能够顾家，稳定，安全性能好。请帮忙推荐一下
- 有没有网站能够搜出我给的类似风格图片的网站
- 长寿|同样都是吸烟，为啥日本人能够长寿？医生说出几点不同，值得思考
- 脑干出血ICU住了20天刚刚醒来，最好能够恢复成啥样子
- 哪些资料或者书籍能够帮助全面认识亚马逊公司的经营战略
- 怎样评价GQ中国的文章《乔任梁的半途人生》
- 耳机能够复制小米模式吗
- 趣头条|icon是实用性的家用车，用车的心情也会良好