江苏龙网

  1. 首页 > 资讯 > 科技 > >

『』AI市场开发人员访谈录( 五 )


目前 ， TensorFlow 还不支持所谓的「inline」矩阵运算 ， 但会强迫你按序 copy 一个矩阵 ， 并在其上进行运算 。copy 大型矩阵非常耗费成本 ， 相比于其他先进的深度学习工具 TensorFlow 要花费 4 倍的时间 。谷歌说他们正在解决这个问题 。
像大部分深度学习框架一样 ， TensorFlow 在 C/C++ 引擎之上使用 Python API 编写 ， 从而加速其运行 。对 Java 和 Scala 社区而言 ， 它并非一个合适的解决方案 。
TensorFlow 不只是面向深度学习 ， 也有支持强化学习和其它算法的工具 。
谷歌开放 TensorFlow 的目标看起来是想吸引更多的人 ， 共享他们研究人员的代码 ， 标准化软件工程师进行深度学习的方式 ， 并吸引他人对谷歌云服务的兴趣——TensorFlow 针对谷歌云服务进行了优化 。
TensorFlow 并非商业支持下的 ， 而且看起来谷歌也不可能成为支持开源企业软件的企业 。它只为研究者提供新工具 。
如同 Theano ， TensorFlow 生成一个计算图（比如一系列矩阵运算 ， 像 z=Simoid（x）, 其中 x 和 z 都是矩阵）并进行自动微分 。自动微分很重要 ， 因为每次实验一个新的神经网络的时候 ， 你肯定不想手动编写一个反向传播新变体的代码 。在谷歌的生态系统中 ， 计算图后来被 Google Brain 使用进行一些繁重工作 ， 但谷歌还未开源其中一些工具 。TensorFlow 只是谷歌内部的深度学习解决方案的一半 。
从企业的角度来看 ， 一些公司需要考虑的是他们是否想依赖谷歌的这些工具 。
Caveat：在 TensorFlow 中的所有运算并不都像在 Numpy 中一样 。
优缺点
（+）Python+Numpy
（+）计算图抽象 ， 如同 Theano
（+）比 Theano 更快的编译速度
（+）进行可视化的 TensorBoard
（+）数据和模型并行
（-）比其它框架慢
（-）比 Torch 更「臃肿」；更神奇；
（-）预训练模型不多
（-）计算图是纯 Python 的 ， 因此更慢
（-）无商业化支持
（-）需要退出到 Python 才能加载每个新的训练 batch
（-）不能进行太大的调整
（-）在大型软件项目上 ， 动态键入易出错
Caffe
Caffe 是一个知名的、被普遍使用的机器视觉库 ， 其将 Matlab 的快速卷积网接口迁移到了 C 和 C++ 中 。Caffe 不面向其他深度学习应用 ， 比如文本、声音或时序数据 。如同其他框架一样 ， Caffe 选择 Python 作为 API 。
Deeplearning4j 和 Caffe 都能用卷积网络进行图像分类 ， 都展现出了顶尖水平 。相比于 Caffe ， Deeplearning4j 还提供了任意数量芯片的并行 GPU 支持 ， 以及许多可使得深度学习在多个并行 GPU 集群上运行得更平滑的看起来琐碎的特征 。Caffe 主要被用于作为一个托管在其 Model Zoo 网站上的预训练模型的源 。Deeplearning4j 正在开发一个能将 Caffe 模型导入到 Spark 的解析器 。
优缺点：
（+）在前馈网络和图像处理上较好
（+）在微调已有网络上较好
（+）不写任何代码就可训练模型
（+）Python 接口相当有用
（-）需要为新的 GPU 层编写 C++/CUDA
（-）不擅长循环网络
（-）面对大型网络有点吃力（GoogLeNet ， ResNet）
（-）不可扩展
（-）无商业化支持
CNTK
CNTK 是微软的开源深度学习框架 ， 是「Computational Network Toolkit（计算网络工具包）」的缩写 。这个库包括前馈 DNN、卷积网络和循环网络 。CNTK 提供一个 C++ 代码上的 Python API 。虽然 CNTK 有一个许可证 ， 但它还未有更多的传统许可 ， 比如 ASF2.0 ， BSD ， 或 MIT 。
DSSTNE
亚马逊的 Deep Scalable Sparse Tensor Network Engine（DSSTNE）是一个为机器学习、深度学习构建模型的库 。它是最近才开源的一个深度学习库 ， 在 TensorFlow 和 CNTK 之后才开源 。大部分使用 C++ 编写 ， DSSTNE 似乎很快 ， 尽管它如今没有其它库那样吸引大量关注 。


推荐阅读


上一篇：：《真人快打》将追加和谐终结技，一点都不暴力

下一篇：『』iQOO Z1正式发布，首发天玑1000+处理器，2198起