亚马逊Alexa运算迁移至自家芯片：吞吐量提高30% 成本下降45%
亚马逊宣布将人工智能处理迁移到自家定制的 AWS Inferentia 芯片 。 这意味着亚马逊最大的推理（inferencing）服务（例如语音助手 Alexa）将交由更快、更专业的芯片进行处理 ， 而非基于 NVIDIA 的多用途 GPU 。
文章插图
亚马逊已经将大约 80% 的 Alexa 语音助手处理迁移到 Elastic Compute Cloud (EC2) Inf1 实例上处理 。 和使用传统 GPU 的 G4 实例相比 ， Inf1 实例将吞吐量提高了 30% ， 成本下降了 45% 。 亚马逊认为 ， 它们是推断自然语言和语音处理工作负载的最佳实例 。
文章插图
Alexa 的工作方式是这样的：实际的智能音箱（或者扬声器）可以不做任何操作 ， 所有任务都交由 AWS 处理器完成 。 或者更准确的说 ， 一旦 Echo 设备上的芯片检测到唤醒词 ， 系统就会启动 。。 它开始实时将音频流传输到云 。 在数据中心的某个地方 ， 音频被转换为文本（这是推理的一个示例） 。 然后从文本中提取含义（另一个推理实例）完成所需要的所有操作 ， 例如获取当天的天气信息等等 。
【亚马逊Alexa运算迁移至自家芯片：吞吐量提高30% 成本下降45%】Alexa 完成您的请求后 ， 她需要将答案传达给您 。 然后 ， 脚本被转换为音频文件（另一个推理示例） ， 并发送到您的Echo设备 。 回音播放文件 ， 以便于你出行的时候是否决定带上雨伞 。 显然 ， 推理是工作的重要组成部分 。 毫不奇怪 ， 亚马逊投入了数百万美元来制造完美的推理芯片 。
Inferentia 芯片由四个 NeuronCore 组成 。 每个实现一个“高性能脉动阵列矩阵乘法引擎” 。 每个NeuronCore或多或少地由以线性 ， 独立方式处理数据的大量小型数据处理单元（DPU）组成 。 每个Inferentia芯片还具有巨大的缓存 ， 从而提高了延迟 。
推荐阅读
- 亚马逊终止托管服务：Parler网站下线
- 亚马逊宣布停止为Parler提供托管服务
- 亚马逊员工权益组织呼吁AWS拒绝为Parler提供托管服务
- ROHM开发出双通道高速CMOS运算放大器“BD77502FVM”
- 科技园|英特尔微能加速器、亚马逊创梦孵化器合作项目落户 科创空间扩容迎来新住户
- 亚马逊在印度启动“Future Engineer”计算机科学教育项目
- 亚马逊在假日季期间销售了数十亿件产品，全球第三方销售增长50%
- 港理工最新研究成果！近传感器/内计算技术大幅提高运算效率
- 亚马逊推迟对第三方卖家增加收费，涉及仓储和快递
- OpenCart安装和设置亚马逊支付和登录AmazonPay