200 个工具分析机器学习十年：前途未卜、工程师是核心 _机器学习

【CSDN 编者按】人工智能和机器学习经过十年多的发展，在过去的几年间，各类工具数量迎来了持续的爆发式的增长，机器学习也正式由科研走进工业生产阶段。本文作者 —— 来自硅谷一家初创公司的计算机科学家 Chip Huyen 梳理挖掘出 202 个机器学习工具，并进行分类研究，总结出了至关重要的两点：

开源已经变成一种行业标准，任何一个刚起步的公司，都必须与现有的开源工具进行竞争；
如果必须在人工智能专家和工程师之间做一个选择，那么请选择工程师。

全栈深度学习，
https://github.com/alirezadir/Production-Level-Deep-Learning
LF AI 基金会全景图，
https://landscape.lfai.foundation/
人工智能与数据全景图，
http://dfkoz.com/ai-data-landscape/
媒体列出的众多 AI 初创公司
我在 Twitter（
https://twitter.com/chipro/status/1202815757593108480）和 LinkedIn（
https://www.linkedin.com/posts/chiphuyen_machinelearning-machinelearningproduction-activity-6608605129010753536-bdZ7）中收到的回复
其他人（朋友、网友、风投等）与我分享的内容

我从中过滤掉使用机器学习做产品的公司（如，使用机器学习提供数据分析的公司）、不常用的工具或没有人使用的工具之后，还有 202 个机器学习的工具。这里（
https://docs.google.com/spreadsheets/d/1OV0cMh2lmXMU9bK8qv1Kk0oWdc_Odmu2K5sOULS9hHQ/）有完整的列表。如果有你觉得应该包含但我没有列出来的工具，请告诉我。
免责申明

这个列表是我在 2019 年的时候整理的，在过去的 6 个月，市场中可能会有一些变化。
有一些科技公司有大量的工具，我并不能一一列举。如 Amazon Web Services 提供了超过 165 种完整的服务。
有许多不知名或者已经不存在的公司并没有在此分析的数据之中。

本文包含以下 6 部分内容：

概述
机器学习的发展历史
机器学习前途未卜
机器学习运维（MLOps）面临的问题
开源与开放核心
总结

文章插图
概述
创建一个机器学习的产品（
https://github.com/chiphuyen/machine-learning-systems-design），包含以下 4 个步骤：

项目立项
数据处理
建模与训练
提供产品服务

我将我统计出来的机器学习工具，根据这些工具对上面步骤的支持情况，对所有机器学习工具进行分类。当然，这里面不包含项目立项相关的内容，它需要的是项目管理工具，而不是机器学习工具。分类这件事情并没有看起来那么简单，很多工具都可以帮助你完成多个事情。并且它们模棱两可的解释，也并不能让我们很好理解它的作用，像下面的这些描述：“我们突破了数据科学的极限” ， “我们将 AI 项目转变成商业成果” ， “像呼吸一样，随意使用你的数据” ，还有我最喜欢的一句：“我们驰骋在数据科学中。”
每个工具都有它最擅长的部分，我将包含多种能力的工具分类到它最擅长的那一类中。如果它擅长所有部分，我就将它们放在 N 合一这个类别中。当然，分类中还包含基础设施提供商，他们提供训练与存储的基础设施，并且大部分都是云服务提供商。