江苏龙网

  1. 首页 > 资讯 > 资讯 > >

模型|汇聚4.5万开发者，华为MindSpore 1.0正式发布( 二 )


模型|汇聚4.5万开发者，华为MindSpore 1.0正式发布
文章图片

图7 MindSpore全场景协同
三大黑科技加速AI模型训练
黑科技一：二阶优化算法
常见的深度学习优化算法多为一阶算法 ， 是否存在高阶的优化算法能够在不损失精度的同时 ， 加速模型的收敛呢？常规的二阶优化算法虽然收敛速度快 ， 但二阶矩阵求逆时间复杂 。在深度学习模型中 ，常常在数百万的量级 ， 此时二阶信息矩阵的逆无法计算 。
MindSpore自研二阶优化算法THOR通过减少二阶矩阵求逆次数以及降低二阶矩阵的维度来降低求逆时间 ， 在Bert-Large上 ， 使用MLPerf测试集 ， 达到71.2%精度仅需3000step ， 端到端训练时间为14min ， 极大的提升了模型的训练速度 。
模型|汇聚4.5万开发者，华为MindSpore 1.0正式发布
文章图片

图8 MindSpore 二阶优化效果
黑科技二：图算融合优化
人工智能发展至今 ， 业务场景的复杂度仅靠单一的模型套数据 ， 使用框架训练早已满足不了需求 ， 开发者通常会基于模型进行二次开发 ， 手动改写网络 ， 实现算子等 。 在传统的手写算子中 ， 效率难以达到统一标准 ， 极大的影响了开发人员的实现效率和网络的训练时间 。 MindSpore图算融合优化是通过分析和优化现有网络计算图逻辑 ， 对原有计算逻辑进行拆分、重组、融合等操作 ， 以减少算子执行间隙的开销并且提升设备计算资源利用率 ， 从而实现网络整体执行时间的优化 。
在图算融合特性中 ， 所有优化项均可以自动完成 ， 在训练脚本中为context指定参数enable_graph_kernel=True从而启用图算融合 ， 无需网络DSL感知 。 同时基于polyhedral技术实现融合算子编译 ， 带来更加通用、高性能的算子融合能力 。 最后提供了自定义算子表达能力 ， 相对更加易用 ， 性能更高 。
模型|汇聚4.5万开发者，华为MindSpore 1.0正式发布
文章图片

黑科技三：轻量级神经网络推理框架MindSpore Lite
MindSpore Lite是MindSpore新发布的一个轻量级神经网络推理框架 ， 它能大幅降低延迟 ， 节省带宽 ， 保护用户隐私 ， 帮助开发者使能端侧及边缘侧AI能力 。 主要包含离线转换工具和轻量级运行时两部分 。 离线转换工具将MindSpore模型及第三方模型变得更小 ， 运行更快；轻量级运行时可部署到智能手机、以及手表、耳机等资源受限（算力 ， 存储 ， 电量等）嵌入式设备 。
在1.0版本中 ， 模型转换工具 支持直接在CPU+Windows环境上进行模型转换 ， 支持多个session并行推理 ， 以适应更多的使用场景 ， 进一步加强了算子支持和性能优化 ， 增强对CPU、GPU支持 。
模型|汇聚4.5万开发者，华为MindSpore 1.0正式发布
文章图片

图10 MindSpore Lite架构图
三大行业案例推进AI落地应用
应用案例一：MindSpore助力分子动力学实现并行计算
分子动力学MD（Molecular Dynamics ， 下简称MD）模拟是一种计算机模拟方法 ， 通过对分子、原子在在一定时间内运动状态的模拟 ， 从而以动态观点考察系统所发生的物理及化学变化过程 。 传统分子动力学软件需要对手工处理并行（MPI）操作 ， 并且在专用加速设备（如GPU）上运行需要单独编写对应代码 ， 不同设备之间的迁移非常麻烦 ， 存在精度和速度之间的矛盾 。 MindSpore的自动并行技术可以实现MD并行操作 ， 运用TVM等技术实现代码在不同设备间的迁移 ， 不仅简化了代码开发过程 ， 而且能带来更快的计算速度和更高的计算精度 。
应用案例二：MindSpore 助力Jina提供面向云原生的开源神经网络搜索能力Jina.ai是由MindSpore技术治理委员会成员肖涵博士主导的初创公司 ， 致力于提供面向云原生的开源神经网络搜索能力 。 目前Jina社区团队完成了MindSpore框架的初步对接支持 ， 成为了首个对接MindSpore应用集成商 。 Jina+MindSpore提供了业界少有的完整开源解决方案 。
应用案例三：MindSpore 服务HMS ML Kit 270+智能应用
MindSpore助力华为1+8+N战略 ， 已经集成在了包括HMS ML Kit在内的多种端边云系统中 ， 以MLKit为例 ， 作为内置AI引擎 ， MindSpore Lite为超过270款智能应用提供服务 ， 每天的调用次数达到1.18亿次 。 此外 ， MindSpore已经落地华为云 ， 作为ModelArts内置的AI引擎 ， 为广大开发者提供一站式全流程AI服务；当前包括华为内部用户 ， 基于ModelArts提供900+实时在线推理服务 ， 同时在训练集群稳定对外提供每天1100+次训练任务 。
开源六个月 ， 社区繁荣度持续增加
自开源以来 ， MindSpore汇聚了4.5w+开发者下载使用 ， 1500+来自全球核心贡献者持续参与代码贡献；每月末的版本迭代 ， MindSpore都会发布1分钟特性视频 ， 给大家从不同的角度科普版本技术亮点 ， 播放量超30w+ ， 官网访问量900w+；除了特性介绍的短视频外 ， MindSpore还针对初级开发者 ， 与机器之心联合开展系列直播『轻松上手MindSpore』 ， 收获3w+播放量 ， 培养2500+活跃开发者；针对中级开发者开展了四期月末两日集训营 ， 广受开发者好评 ， 培养100+核心用户 ， 为MindSpore技术生态贡献 。


推荐阅读


上一篇：观点评论|不只是一个LOGO那么简单，思皓X8共标的背后，耐人寻味

下一篇：知识科普|【】谈谈橱窗广告、共享广告那些事