加米谷大数据|MapReduce与Apache Spark,带你对比Hadoop( 二 )
文章图片
文章图片
i)Hadoop与Spark性能
据说仅通过减少对磁盘的读写次数 , HadoopSpark即可执行比HadoopMapReduce框架快约10至100倍的批处理作业 。
在使用MapReduce的情况下 , 将执行以下MapandReduce任务 , 随后将出现同步障碍 , 并且需要将数据保存到磁盘 。 开发MapReduce框架的功能是为了在出现故障的情况下可以恢复作业 , 但是这样做的缺点是 , 它没有最大程度地利用Hadoop群集的内存 。
不过 , 借助HadoopSpark , RDD(弹性分布式数据集)的概念使您可以将数据保存在内存中 , 并且仅在需要时才将其保存到磁盘上 , 并且它不具有任何类型的同步障碍 , 可能会减慢数据传输速度 。 处理 。 因此 , 使用内存时 , Spark的通用执行引擎比HadoopMapReduce快得多 。
ii)HadoopMapReduce与Spark-轻松管理与HadoopSpark一样 , 组织现在可以轻松地简化其用于数据处理的基础架构 , 因为现在可以在同一群集中执行流式处理 , 批处理和机器学习 。
大多数实时应用程序都使用HadoopMapReduce生成报告 , 以帮助找到历史查询的答案 , 然后完全延迟另一个将处理流处理的系统 , 以便实时获取关键指标 。 因此 , 组织应该管理和维护单独的系统 , 然后为两个计算模型开发应用程序 。
但是 , 使用HadoopSpark可以消除所有这些复杂性 , 因为可以在同一系统上同时实现流处理和批处理 , 从而简化了应用程序的开发 , 部署和维护 。 使用Spark可以控制各种工作负载 , 因此 , 如果同一流程中的各种工作负载之间存在交互 , 则更容易管理和保护此类工作负载 , 这是MapReduce的局限性 。
iii)SparkvsMapreduce–处理流的实时方法在使用HadoopMapReduce的情况下 , 您只需要处理一批存储的数据 , 但是使用HadoopSpark , 也可以通过SparkStreaming实时修改数据 。
使用SparkStreaming , 可以通过各种软件功能传递数据 , 例如在收集数据时进行数据分析 。
文章图片
开发人员现在也可以使用ApacheSpark进行图形处理 , 该处理可在各种实体(例如人和对象)之间映射数据中的关系 。 组织还可以将ApacheSpark与预定义的机器学习代码库结合使用 , 以便可以对存储在各种Hadoop集群中的数据执行机器学习 。
iv)Spark与MapReduce-缓存与完全面向磁盘的MapReduce不同 , Spark通过在分布式工作者的内存中缓存部分结果来确保较低的延迟计算 。 与编写复杂的HadoopMapReduce管道相比 , HadoopSpark逐渐被证明可以极大地提高生产力 。
v)SparkvsMapReduce-易于使用编写Spark总是比编写HadoopMapReduce代码紧凑 。 这是一个SparkMapReduce示例-下图显示了Spark和HadoopMapReduce中的字数统计程序代码 。 如果查看这些图像 , 显然可以看出HadoopMapReduce代码更加冗长冗长 。
SparkMapReduce示例-Spark中的Wordcount程序
文章图片
SparkMapReduce示例-HadoopMapReduce中的Wordcount程序
文章图片
文章图片
SparkMapReduce比较-底线HadoopMapReduce用于不适合内存的数据 , 而ApacheSpark对于适合内存的数据具有更好的性能 , 特别是在专用集群上 。 HadoopMapReduce可以是一种经济的选择 , 因为Hadoop即服务(HaaS)和更多人员的可用性 。 根据基准测试 , ApacheSpark更具成本效益 , 但是在使用Spark的情况下 , 人员配置会很昂贵 。 ApacheSpark和HadoopMapReduce都具有容错能力 , 但是相对而言 , HadoopMapReduce比Spark具有更高的容错能力 。 就数据类型和数据源而言 , Spark和HadoopMapReduce都具有相似的兼容性 。 在ApacheSpark中进行编程比较容易 , 因为它具有交互模式 , 而HadoopMapReduce需要具有核心的Java编程技能 , 但是有多种实用程序使在HadoopMapReduce中进行编程更加容易 。 ApacheSpark是否会消除HadoopMapReduce?HadoopMapReduce被大多数用户谴责为HadoopClustering中的日志阻塞 , 原因是MapReduce以批处理模式执行所有作业 , 这意味着无法实时分析数据 。 随着HadoopSpark的问世(事实证明它是HadoopMapReduce的替代品) , 阻碍数据科学家的最大问题是Hadoopvs.Spark-谁赢得了胜利?
推荐阅读
- Python之王|Pandas数据合并与拼接的5种方法
- 「杨辉」中科院学者涉嫌剽窃科研想法、数据造假,听一场报告就能发Cell?
- 科技小数据|产业观察:如何通俗地理解5G及其应用
- 雷科技|为解决App连接问题,特斯拉迁移数据至中国,开车不再“卡顿”
- 大数据系统|倾力分享!,2020小红书kol推广8种玩法
- 小熊带你玩科技|全新等离子体光子芯片:利用光进行超高速数据传输
- 蓝色星晨|以对比1977年的气候变化数据,科学家在南极最大冰架上钻取样品
- 灵锦文化|网络安全需求有望进一步加速释放,《数据安全法》出台
- 鲍跃忠新零售工作室|数据的价值在于链接
- 金十数据|向芯片业注入2614亿!或担忧“中国芯”崛起,美国提出2项新法案