江苏龙网

  1. 首页 > 人文 > >

加米谷大数据张老师|大数据进阶之Spark运行流程

在大数据的诸多技术框架当中 ， Spark发展至今 ， 已经得到了广泛的认可 。 Hadoop与Spark可以说是企业级数据平台的主流选择 ， 基于不同的应用场景 ， 来搭建符合需求的大数据系统平台 。 今天我们就来讲讲其中的Spark ， Spark核心运行流程 。
Spark是既Hadoop之后提出的又一代计算框架 ， 同样主打离线批处理 ， 但是在Hadoop原生计算引擎MapReduce的基础之上 ， 做到了性能提升10-100倍 ， 从而在Hadoop生态当中 ， 超过了原生的MapReduce ， 逐步得到重用 。
加米谷大数据张老师|大数据进阶之Spark运行流程
文章图片
【加米谷大数据张老师|大数据进阶之Spark运行流程】Spark继承了HadoopMapReduce的特性 ， 是典型的Master/worker架构 。 这种架构就是把计算任务进行划分 ， 然后进行分配给多个Slave ， 也就是进行Map ， 等Slave完成了分配给自己的任务后 ， 然后再Master上进行汇总 ， 也就是Redudce ， 这就是MapReduce的思想 。
Spark在Master上创建Sparkcontext ， 创建SparkContext的目的是为了准备Spark应用程序的运行环境 。 在Spark中由SparkContext负责和ClusterManager通信 ， 进行资源的申请、任务的分配和监控等 。
Driver是驱动的意思 ， 也就是整个系统启动之后 ， 整个系统的运转时靠Driver来驱动的 ， 用户自己的作业也是通过Driver来分解和调度运行的 。
资源申请后 ， Spark通常会要求资源管理器在Container中启动自己的Worker ， 也就是Executor进程 ， 同时启动命令里面会带着Driver的URL地址 ， 方便Executor启动后 ， 向Driver注册自己 。
加米谷大数据张老师|大数据进阶之Spark运行流程
文章图片
Executor向Driver注册自己之后 ， 大家就相互认识了 ， 就可以互相通信 ， 根据协议进行交互 ， 整个分布式系统也就运行起来了 。
Driver和Executor直接通过RPC协议相互联系 ， Spark历史上内部使用过两种RPC实现 ， 基于AkkaActor的RPC和基于Netty自己封装的RPC 。
Executor是具体的执行者 ， Executor拿到属于自己的Task后 ， 运行出结果 ， 然后把结果汇报给Driver 。
Driver和Executors都运行自己的Java进程 ， 可以在同一台机器上 ， 也可以在不同的机器上 。
而关于资源管理器 ， 有多种选择 。 可以是Spark自己实现的资源管理器 ， standalone模式 ， 也可以采用一些比较通用的资源管理器 ， 比如Yarn和Mesos ， 这也是为什么有说法 ， Spark可以自己独立运行 ， 也可以与Hadoop集成协同 。
加米谷大数据张老师|大数据进阶之Spark运行流程
文章图片
关于大数据进阶之Spark运行流程 ， 相信看完今天的分享内容 ， 大家也都能够有比较清楚的认识了 。 Spark是大数据当中必须掌握的核心技术框架 ， 对于运行原理、架构设计等 ， 都需要牢牢掌握 ， 熟练运用才行 。


    推荐阅读


    上一篇：光明网社会|你都得拥抱5G，不论是否愿意

    下一篇：趣玩乐享汇|Z Fold2 5G：美不止于一面，三星Galaxy