江苏龙网

  1. 首页 > 资讯 > 科技 > >

『人工智能』深度 | AI 建模实际应用场景及效益( 三 )



『人工智能』深度 | AI 建模实际应用场景及效益
本文插图

在 GLUE 的许多任务上均优于此前的神经网络架构（如上表所列） 。 BERT 在语音识别和图像识别突破后带来了语义理解的突破 。 此后在 BERT 的基础上 ， 在语义理解的许多应用上都带来了突破 。 然而由于 BERT 和后续的神经网络都需要庞大的计算资源和时间 ， 给私有化部署的应用带来高昂的成本 ， 除非能够使用云端共享的 BERT 计算资源 。 由于数据保密的要求 ， 许多应用的数据无法上传到云端 ， 例如金融业的客户数据等 。如前所述 ， 这样的科技还需要经过再创新才能应用在实际的商业场景里 。 普强在这个方面做了十年的科研投入 ， 不断的将最新的科技应用在实际的商业场景上 。四、普强语音语义框架 当前人工智能算法均属在高维度的空间中寻找线性/非线性复合函数的最优值点 ， 其最核心的架构设计实为设计此高维度空间里的数学复合函数 ， 许多的复合函数/神经网络框架都在不同的任务中被验证有应用的效益 ， 下面列举了几个重要的类别： 全联多层的神经网络：每层的神经元均与下一层的所有神经元相连 ， 逻辑回归等算法均使用此种网络 。l 卷积神经网络（Convolutional Neural Networks, CNN）：是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks） ， 是深度学习（deep learning）的代表算法之一 。 卷积神经网络具有表征学习（representation learning）能力 ， 能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification） ， 因此也被称为“平移不变人工神经网络（Shift-InvariantArtificial Neural Networks, SIANN） 。 卷积神经网络架构在视觉辨识里达到了极优的效果 。l 循环神经网络（Recurrent Neural Network, RNN）：是一类以序列（sequence）数据为输入 ， 在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） 。 循环神经网络的研究始于二十世纪 80-90 年代 ， 并在二十一世纪初发展为深度学习（deep learning）算法之一 ， 其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（LongShort-Term Memory networks ， LSTM）是常见的的循环神经网络 。 循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness） ， 因此在对序列的非线性特征进行学习时具有一定优势 。 循环神经网络在自然语言处理（Natural Language Processing, NLP） ， 例如语音识别、语言建模、机器翻译等领域有应用 ， 也被用于各类时间序列预报 。 引入了卷积神经网络（Convoutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题 。l Transformer神经网络：抛弃了传统的 CNN 和 RNN ， 整个网络结构完全是由 Attention 机制组成 。 更准确地讲 ， Transformer 由且仅由 Self-Attenion 和 Feed Forward NeuralNetwork 组成 。 一个基于 Transformer 的可训练的神经网络可以通过堆叠 Transformer 的形式进行搭建 ， 作者的实验是通过搭建编码器和解码器各6层 ， 总共12层的 Encoder-Decoder ， 并在机器翻译中取得了 BLEU 值得新高 。l CTC（Connectionis ttemporal classification）：传统的语音识别的声学模型训练 ， 对于每一帧的数据 ， 需要知道对应的 label 才能进行有效的训练 ， 在训练数据之前需要做语音对齐的预处理 。 而语音对齐的过程本身就需要进行反复多次的迭代 ， 来确保对齐更准确 ， 这本身就是一个比较耗时的工作 。 与传统的声学模型训练相比 ， 采用 CTC 作为损失函数的声学模型训练 ， 是一种完全端到端的声学模型训练 ， 不需要预先对数据做对齐 ， 只需要一个输入序列和一个输出序列即可以训练 。 这样就不需要对数据对齐和一一标注 ， 并且 CTC 直接输出序列预测的概率 ， 不需要外部的后处理 。以上仅就目前人工智能应用领域里经常使用并产生实际应用效益的网络做了简介 ， 当应用到各个实际场景里时 ， 还有基于上述网络衍生的众多版本和彼此之间的结合版 ， 不能一一详述 。深度学习里的神经网络架构及其参数和超参数均需按实际场景和数据的情况作调试优化 ， 方能达到理想的效果以产生实际应用价值 。 然而实际的场景虽然都有相似之处 ， 但也有诸多不同的细节 ， 为能满足每一应用场景的应用效益要求 ， 以过往往需要由资深的算法工程师做深度的调试 ， 此种模式耗时且效率低 ， 常常不能满足客户快速的迭代需求 。


推荐阅读


上一篇：#高瓴资本#产业互联网时代 高瓴资本全方位赋能先进制造

下一篇：『』华为nova系列缩短更新周期，nova6降幅超1000元，nova7全系来袭！