文章插图
图 13. Batchsize 对服务性能影响
总结与展望以上介绍的系统级优化方法 ， 已在深度学习云平台落地超过 10+ 应用和算法 ， 部署上千 core 的服务 ， 平均性能提升在 1~9 倍 。 更详细的使用方法可以参考文末相关链接 。
对于深度学习的推理服务优化 ， 深度学习云平台还计划加入更多的异构计算资源来加速特定任务 ， 例如 VPU、FPGA 等计算资源 。 同时在服务的弹性和优化调度、部署参数的自动优化选取等方面 ， 我们也会继续深入优化 ， 以充分发挥云平台的计算资源和能力 ， 加速深度学习推理服务的落地 。
相关链接
（1）OpenVINO:
（2）Vtune 性能分析工具:
推荐阅读
- 华硕基于WRX80的主板现身 为AMD Ryzen Threadripper Pro打造
- 微软新版电子邮件客户端截图曝光：基于网页端Outlook
- AMD 专利展现 MCM 模块化芯片设计，GPU 将采用多核封装
- Sonnet更新便携式eGPU Breakaway Puck系列产品线
- 曝光 | 小鹏或春节前推送NGP更新，基于高精地图可自动变道
- 英特尔Xe GPU在Linux 5.11上的性能表现不错
- 基于Spring+Angular9+MySQL开发平台
- 华硕和宏碁即将推出发烧级笔电 采用AMD Zen 3 移动处理器和NVIDIA 3080 GPU
- 14款华为手机/平板公测EMUI 11：全部基于麒麟980
- NVIDIA下代GPU信息再爆：5nm无悬念，代号或不是Hopper