『阿里云云栖号』阿里云云效团队在家高效开发实录，战“疫”期( 二 )
Mars的开发过程中 ， 我们核心关注的几点包括：
我们希望Mars足够简单 ， 只要会用Numpy、pandas或scikit-learn就会用Mars 。 避免重复造轮子 ， 我们希望能利用到这些库已有的成果 ， 只需要能让他们被调度到多核/多机上即可 。 声明式和命令式兼得 ， 用户可以在这两者之间自由选择 ， 灵活度和性能兼而有之 。 足够健壮 ， 生产可用 ， 能应付各种failover的情况 。当然这些是我们的目标 ， 也是我们一直努力的方向 。
Marstensor：Numpy的并行和分布式加速器上面说过 ， 我们的目标之一是 ， 只要会用Numpy等数据科学包 ， 就会用Mars 。 我们直接来看代码 ， 还是以蒙特卡洛为例 。 变成Mars的代码是什么样子呢？
importmars.tensorasmtN=10**10data=https://pcff.toutiao.jxnews.com.cn/p/20200416/mt.random.uniform(-1,1,size=(N,2))inside=(mt.sqrt((data**2).sum(axis=1))<1).sum()pi=(4*inside/N).execute()print('pi:%.5f'%pi)可以看到 ， 区别就只有两处：importnumpyasnp变成importmars.tensorasmt ， 后续的np.都变成mt.；pi在打印之前调用了一下.execute()方法 。
也就是默认情况下 ， Mars会按照声明式的方式 ， 代码本身移植的代价极低 ， 而在真正需要一个数据的时候 ， 通过.execute()去触发执行 。 这样能最大限度得优化性能 ， 以及减少中间过程内存消耗 。
这里 ， 我们还将数据的规模扩大了1000倍 ， 来到了100亿个点 。 之前1/1000的数据量的时候 ， 在我的笔记本上需要757ms；而现在数据扩大一千倍 ， 光data就需要150G的内存 ， 这用Numpy本身根本无法完成 。 而使用Mars ， 计算时间只需要3min44s ， 而峰值内存只需要1G左右 。 假设我们认为内存无限大 ， Numpy需要的时间也就是之前的1000倍 ， 大概是12min多 ， 可以看到Mars充分利用了多核的能力 ， 并且通过声明式的方式 ， 极大减少了中间内存占用 。
前面说到 ， 我们试图让声明式和命令式兼得 ， 而使用命令式的风格 ， 只需要在代码的开始配置一个选项即可 。
importmars.tensorasmtfrommars.configimportoptionsoptions.eager_mode=True#打开eagermode后 ， 每一次调用都会立即执行 ， 行为和Numpy就完全一致N=10**7data=https://pcff.toutiao.jxnews.com.cn/p/20200416/mt.random.uniform(-1,1,size=(N,2))inside=(mt.linalg.norm(data,axis=1)<1).sum()pi=4*inside/N#不需要调用.execute()了print('pi:%.5f'%pi.fetch())#目前需要fetch()来转成float类型 ， 后续我们会加入自动转换MarsDataFrame：pandas的并行和分布式加速器看过怎么样轻松把Numpy代码迁移到Marstensor ， 想必读者也知道怎么迁移pandas代码了 ， 同样也只有两个区别 。 我们还是以movielens的代码为例 。
importmars.dataframeasmdratings=md.read_csv('ml-20m/ratings.csv')ratings.groupby('userId').agg({'rating':['sum','mean','max','min']}).execute()MarsLearn：scikit-learn的并行和分布式加速器MarsLearn也同理 ， 这里就不做过多阐述了 。 但目前Marslearn支持的scikit-learn算法还不多 ， 我们也在努力移植的过程中 ， 这需要大量的人力和时间 ， 欢迎感兴趣的同学一起参与 。
importmars.dataframeasmdfrommars.learn.neighborsimportNearestNeighborsdf=md.read_csv('data.csv')#输入是CSV文件 ， 包含20万个向量 ， 每个向量10个元素nn=NearestNeighbors(n_neighbors=10)nn.fit(df)#这里fit的时候也会整体触发执行 ， 因此机器学习的高层接口都是立即执行的neighbors=nn.kneighbors(df).fetch()#kneighbors也已经触发执行 ， 只需要fetch数据这里要注意的是 ， 对于机器学习的fit、predict等高层接口 ， MarsLearn也会立即触发执行 ， 以保证语义的正确性 。
RAPIDS：GPU上的数据科学相信细心的观众已经发现 ， GPU好像没有被提到 。 不要着急 ， 这就要说到RAPIDS 。
推荐阅读
- 阿里巴巴▲三国志战略版什么来路？为何频频刷屏各大软件？
- 阿里巴巴■公有云竞争格局：阿里云一枝独秀，华为实现弯道超车
- 『阿里巴巴』雷军喜提“100亿”！问题来了，雷军还能超过马云马化腾吗？
- 阿里巴巴@阿里巴巴淘小铺到底是不是“天时地利人和”的赚钱机会
- [阿里巴巴]阿里找台积电代工，中芯国际“失败了”？网友：不要忘记华为经历
- 南方PLUS养成“独角兽”！阿里云创新中心落户梅州，孵出“小天鹅”
- 乐居财经京东零售高管调整，联商电商周报：蒋凡遭除名阿里合伙人
- 木易机械网红张大奕事件，会让他离开阿里吗，马云接班人蒋凡有多牛
- #阿里巴巴#阿里巴巴新园区投入使用，战略级“特种部队”入驻
- 吴拿科技大王90后的危机悄然来袭，华为、阿里、富士康……相继传来消息