人工智能300年！LSTM之父万字长文：详解现代AI和深度学习发展史( 七 ) _人工智能

1944年，霍华德·艾肯（Howard Aiken）带领团队，发明世界上第一台大型自动数字计算机Mark Ⅰ（马克一号）。
1948年，弗雷德里克·威廉姆斯（Frederic Williams）、汤姆·基尔伯恩（Tom Kilburn）和杰夫·托蒂（Geoff Tootill）发明了世界第一台电子存储程序计算机：小型实验机 (SSEM) ，又被称为「曼彻斯特宝贝」（Manchester Baby）。

文章插图
「曼彻斯特宝贝」复制品
从那时起，计算机的运算在集成电路（IC）的帮助下变得更快。1949年，西门子的维尔纳·雅各比（Werner Jacobi）申请了一项集成电路半导体专利，使一个公共基板可以有多个晶体管。
1958年， Jack Kilby展示了带有外部导线的集成电路。1959年，罗伯特·诺伊斯 (Robert Noyce) 提出了单片集成电路。自上世纪70年代以来，图形处理单元 (GPU) 已被用于通过并行处理来加速计算。现在，计算机的GPU包含数十亿个晶体管。
物理极限在哪里？
根据汉斯·约阿希姆·布雷默曼（Hans Joachim Bremermann）提出的布雷默曼极限，一台质量为1千克、体积为1升的计算机最多可以在最多10的32次方位上每秒执行最多10的51次方操作。

文章插图
汉斯·约阿希姆·布雷默曼
然而，太阳系的质量只有2x10^30千克，这一趋势势必会在几个世纪内打破，因为光速会严重限制以其他太阳系的形式获取额外质量。
因此，物理学的限制要求未来高效的计算硬件必须像大脑一样，在三维空间中有许多紧凑放置的处理器以最小化总连接成本，其基本架构本质上是一种深度的、稀疏连接的三维RNN 。
Schmidhuber推测，此类RNN的深度学习方法将变得更加重要。
十八、1931年以来的人工智能理论
现代人工智能和深度学习的核心主要是基于近几个世纪的数学：微积分、线性代数和统计学。
20世纪30年代初，哥德尔创立了现代理论计算机科学。他引入了一种以整数为基础的通用编码语言，允许以公理形式将任何数字计算机的操作正规化。
同时，哥德尔还构建了著名的形式化语句，通过给定一个计算性的定理检验器，从可列举的公理集合中系统地列举所有可能的定理。因此，他确定了算法定理证明、计算以及任何类型的基于计算的人工智能的基本限制。
此外，哥德尔在写给约翰·冯·诺伊曼的著名信件中，确定了计算机科学中最著名的开放问题「P=NP？」。

文章插图
1935年， Alonzo Church通过证明Hilbert和Ackermann的决策问题没有一般的解决方案，得出了哥德尔结果的一个推论。为了做到这一点，他使用了他的另一种通用编码语言，称为Untyped Lambda Calculus ，它构成了极具影响力的编程语言LISP的基础。
1936年，阿兰·图灵引入了另一个通用模型：图灵机，重新得出了上述结果。同年， Emil Post发表了另一个独立的计算通用模型。
康拉德·楚泽不仅创造了世界上第一台可用的可编程通用计算机，并且还设计了第一种高级编程语言——Plankalkül 。他在1945年将其应用于国际象棋，在1948年应用于定理证明。

文章插图
Plankalkül
20世纪40-70年代的大部分早期人工智能实际上是关于定理证明和通过专家系统和逻辑编程进行哥德尔式的推导。
1964年， Ray Solomonoff将贝叶斯（实际上是拉普拉斯）概率推理和理论计算机科学结合起来，得出一种数学上最优（但计算上不可行）的学习方式，从过去的观察中预测未来数据。
他与Andrej Kolmogorov一起创立了柯氏复杂性或算法信息论（AIT）的理论，通过计算数据的最短程序的概念，将奥卡姆剃刀的概念正式化，从而超越了传统的信息论。
柯氏复杂性
自指哥德尔机更通用的最优性并不局限于渐进式最优。