江苏龙网

  1. 首页 > 资讯 > 科技 > >

硬件如何撬动移动端AI万亿美元市场？ 华人学者新研究实现移动端神经网络180倍加速( 四 )


我们在三星Galaxy S10智能手机上测试评估我们的算法性能 。 S10拥有最新的高通骁龙（Qualcomm Snapdragon）855移动平台 ， 包含了高通Kryo 485 8核CPU和高通Adreno 640 移动GPU 。 下图显示了在CPU和GPU上 ， 我们的算法与TFLite ， TVM 以及MNN加速框架的性能对比 。
硬件如何撬动移动端AI万亿美元市场？ 华人学者新研究实现移动端神经网络180倍加速
图片

我们采用了6种代表性的DNN模型结构 ， 包括VGG-16 (VGG), ResNet-50 (RNT), and MobileNet-V2 (MBNT)， 在CIFAR-10和ImageNet这两个数据集上做训练 。 结果显示在所有的测试环境配置下 ， 我们的压缩编译协同设计算法都超越了其它的加速框架 。
在移动CPU上 ， 我们的算法相较于TFLite ， 实现了12倍到44.5倍的加速效果 ， 相较于TVM ， 实现了2.3倍至8.1倍的加速效果 ， 相较于MNN ， 实现了1.9倍至15.5倍的加速效果 。 在GPU上 ， 相较于TFLite ， TVM以及MNN ， 分别实现了2.5倍至20倍 ， 4.1倍至11.4倍 ， 以及2.5倍至6.2倍的加速效果 。
对于最大的DNN模型VGG以及最复杂的ImageNet数据集 ， 我们的算法在移动GPU上只需要用18.9毫秒就能完成单一输入图片的所有卷积层的计算操作 ， 满足了实时性的要求（实时性通常要求实现每秒30帧 ， 即每帧33毫秒） 。
现有的移动环境和设备下 ， 我们的算法可以实现哪些应用？
最后但也是最重要的一个问题就是在现有的移动环境和设备下 ， 我们的算法可以实现哪些应用？
这个问题直接关联到压缩编译协同设计方法的潜在的商业价值 。
为了说明这个问题 ， 我们研究了三种可能的DNN应用 ， 包括风格迁移（style transfer） ， DNN上色（coloring） ， 以及超分辨率（提高分辨率 ， super resolution） 。 风格迁移的模型是基于在微软COCO数据集上训练的生成型网络 ， 可以实现视频流的实时风格迁移效果 。 DNN上色用Places scene数据集去训练一个可以同时抽取与融合全局和局部特征的模型 ， 来实现将一个黑白视频流实时地转化为彩色视频流的功能 。
超分辨率模型主要利用在DIV2K数据集上训练的具有更宽激活层与线性低秩卷积的差分模块 ， 实现将低分辨率的视频流实时转化为高分辨率的视频流的效果 。
硬件如何撬动移动端AI万亿美元市场？ 华人学者新研究实现移动端神经网络180倍加速
图片

正如图中所演示的 ， 利用结构化剪枝以及编译优化 ， 我们在三星Galaxy S10智能手机上实现了这些应用 。 对于风格迁移 ， DNN上色以及超分辨率 ， 我们的算法可以分别获得4.2倍 ， 3.6倍 ， 以及3.7倍的推理加速 。
结果显示 ， 我们团队提出的压缩编译协同设计软件算法方案可以在移动平台上实现令人满意的高速实时效果 。 具体来说 ， 所有的前向推理可以在75毫秒内完成 ， 使得在现有的没有特殊硬件结构的移动设备上实时地运行复杂的DNN应用成为了可能 。 更多的演示视频请参考下面的网址 。
https://search.bilibili.com/all?keyword=cocopie&from_source=nav_search&spm_id_from=333.851.b_696e7465726e6174696f6e616c486561646572.9
即使在移动AI时代 ， 软件仍然占据主宰地位
我们这篇文章的核心观点是即使在AI时代 ， 软件仍将主导业界 。 我们希望通过这篇文章能够向读者表明 ， 我们还是可以在现有的商业计算设备上实现AI ， 并且提供比专业的AI硬件加速器更高的加速效果以及能量效率 。 这能够扩展AI在边缘计算设备上的能力 ， 并且改变人们对终端设备上实现实时AI就必须采用专业的特殊AI硬件的认知 。
我们相信这些结果会促使工业界重新审视现有的移动AI的发展方向和策略 。 这些令人振奋的进展显示了很多潜在的未来发展方向 ， 我们这里列举两个 。 第一个方向是扩展基于协同设计优化的领域 。
目前为止 ， 压缩编译协同设计的原理主要聚焦于DNN模型 。 除了DNN ， 现实世界的AI应用通常包括很多其它的内容 ， 比如数据收集 ， 数据预处理 ， 以及用DNN预测之后的操作等等 。


推荐阅读


上一篇：苹果苹果大举进军云计算！在全球机器学习等领域开启全明星疯狂招人模式

下一篇：美国网传美国最大两家半导体设备厂商对中芯等启动「无限追溯」机制，国产代工双雄如何应对？