AI也会遭遇瓶颈解析人工智能技术的存储性能需求 _人工智能

020年对于很多人而言都是永远值得铭记的一年，突如其来的新冠疫情几乎改变了每个人的生活，它不仅给人类的经济造成了重大损失，也给人类的健康带来了巨大的威胁。面对这难以对付的病毒，我们既看到了无数勇士的悲壮逆行，也看到了科技在整个抗疫斗争中所起到的关键作用，特别是其中的AI人工智能技术——通过AI技术我们可以加速疫苗的研发；通过AI技术，在众多医疗终端设备以及大量的病人临床数据中，我们能提炼出最佳的诊断方案，加速诊断的效率，提升诊断的效果。可以说，AI技术在这次关键的战役中发挥出了重大的作用。

文章插图
人工智能已经深入医疗、教育、工业到能源、金融等各个领域。
因此并不意外，在2020年第三届软件定义存储峰会上，英特尔提出的主题是“突破内存与存储瓶颈释放人工智能无限潜力” 。毕竟在这场抗疫战斗中，英特尔不仅投入重金资助合作伙伴使用AI技术进行诊断、疫苗开发方面的研究，还推动AI科技在医学检验、医疗物资生产、疫情推演等多个领域加速落地，英特尔深知AI人工智能对人类的重要性。除了对抗新型病毒，AI人工智能技术其实也深入了人类生活的各个领域。英特尔公司中国区非易失性存储解决方案事业部战略业务开发总监倪锦峰先生在峰会上谈到：“从医疗、教育、工业到能源、金融等等，每个行业都在以数字化的方式来寻求主动变革，我们可以预见的是，在不远的将来，整个社会对数字化的服务需求将不断地激增” 。
AI人工智能技术将给存储产品带来重大挑战

文章插图

人工智能技术的数据管道主要分为采集、准备、训练和推理四部分。每个部分需要读写不同类型的数据，工作负载也不尽相同。

“工欲善其事，必先利其器”，要想发挥出AI人工智能技术的最大威力，需要企业构建强有力的IT基础设施。这个设施不仅需要强有力的处理器、FPGA、GPU，也需要高性能的存储设备，否则就会如普通电脑一般，因为机械硬盘传输速度最慢，寻找数据的时间最长，往往会成为整个系统性能的瓶颈，即使是SATA/PCIe NAND SSD，很多时候也跟不上AI数据处理的需求。倪锦峰先生介绍到，无论用于哪个行业，人工智能的工作实际上主要由采集、准备、训练和推理四部分组成。每个部分需要读写不同类型的数据，工作负载也不尽相同，将给存储设备带来较大的挑战。

简单地说，在整个人工智能执行过程中，IO的需求是不可预测、复杂多变的，它读写的数据主要有三个重要的特点：

第一是它的数据集大小，差异性非常大，在最初开始的采集阶段是PB级别，到训练阶段是GB级别，到训练好了执行的函数，相关的模型可能是KB级别；
第二它的工作负载也是复杂多变的，从最初百分之百的写入到准备阶段的50%读、50%写混合负载，到后面的一些训练、推理阶段可能出现百分之百的读，其中包括很多的随机读取操作；
第三是存储模式也会有很多变化，从一开始顺序化的数据流写入，到后面则是通过完全随机的读写，来帮助建立准确的模型。

因此人工智能技术对存储性能的要求是很苛刻的，用户总是希望设备能满足高吞吐量和低延时的需求，总是希望更多的数据能够更加靠近处理器，以获取及时的传输、执行，但用户又会希望AI的基础设施投资成本能在可控的范围之内，可以说这是一个相互矛盾的需求，那么对于用户来说如何才能实现这个愿望呢？

优化成本，提升性能，英特尔存储产品构建分层存储
【AI也会遭遇瓶颈解析人工智能技术的存储性能需求】首先还是应对用户使用的数据类型进行研究，倪锦峰先生向我们展示了英特尔经典的存储金字塔图。在应用中，并不是所有数据都会经常被用到，因此数据可以被分成热数据、温数据和冷数据等3个不同层次。热数据即需要立马进行处理的数据，例如银行收到的转账请求，即时的地理位置等。温数据是非即时的状态和行为数据，例如用户近期感兴趣的话题，或用户最近去过的地方等，冷数据则是不经常访问的数据。