江苏龙网

  1. 首页 > 生活 > >

零基础学习大数据的学习路线是啥( 四 )


讲解新旧api的区别,如何使用旧api完成操作介绍如何打包成jar,在命令行运行hadoop程序介绍hadoop的内置计数器,以及自定义计数器介绍合并(combiner)概念、为什么使用、如何使用、使用时有什么限制条件介绍了hadoop内置的分区(partitioner)概念、为什么使用、如何使用介绍了hadoop内置的排序算法,以及如何自定义排序规则介绍了hadoop内置的分组算法,以及如何自定义分组规则介绍了mapreduce的常见应用场景,以及如何实现mapreduce算法讲解如何优化mapreduce算法,实现更高的运行效率第三阶段:zookeeper课程本节内容与hadoop关系不大,只是在Hbase集群安装时才用到。但是,zookeeper在分布式项目中应用较多。zookeeper
Zookeeper是什么搭建zookeeper集群环境如何使用命令行操作zookeeper如何使用java操作zookeeper第四阶段:HBase课程hbase是个好东西,在以后工作中会经常遇到,特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装,讲解基本理论和各种操作。我们通过对hbase原理的讲解,让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构,这是hbase优化的重点。HBase
hbase的概述hbase的数据模型hbase的表设计hbase的伪分布式和集群安装hbase的shell操作hbase的JavaAPI操作hbase的数据迁移hbase的数据备份及恢复Hbase结合Hive使用hbase的集群管理hbase的性能调优第五阶段:CM+CDH集群管理课程由cloudera公司开发的集群web管理工具cloudera manager(简称CM)和CDH目前在企业中使用的比重很大,掌握CM+CDH集群管理和使用 不仅简化了集群安装、配置、调优等工作,而且对任务监控、集群预警、快速定位问题都有很大的帮助。CM+CDH集群管理
CM + CDH集群的安装基于CM主机及各种服务组件的管理CDH集群的配置和参数调优CDH集群HA配置及集群升级CM的监控管理集群管理的注意事项第六阶段:Hive课程在《hadoop1零基础拿高薪》课程中我们涉及了Hive框架内容,不过内容偏少,作为入门讲解可以,但是在工作中还会遇到很多课程中没有的。本课程的目的就是把Hive框架的边边角角都涉猎到,重点讲解Hive的数据库管理、数据表管理、表连接、查询优化、如何设计Hive表结构。这都是工作中最急需的内容,是工作中的重点。Hive的概述、安装与基本操作
大家习惯把Hive称为hadoop领域的数据仓库。Hive使用起来非常像MySQL,但是比使用MySQL更有意思。我们在这里要讲述Hive的体系结构、如何安装Hive。还会讲述Hive的基本操作,目的是为了下面的继续学习。(理论所占比重★★★ 实战所占比重★★)Hive支持的数据类型
Hive的支持的数据类型逐渐增多。其中复合数据类型,可以把关系数据库中的一对多关系挪到Hive的一张表中,这是一个很神奇的事情,颠覆了我们之前的数据库设计范式。我们会讲解如何使用这种数据类型,如何把关系数据库的表迁移到Hive表。(理论所占比重★★ 实战所占比重★★★)Hive数据的管理
我们总拿Hive与MySQL做类比。其中,Hive对数据的操作方法是与MySQL最大的不同。我们会学习如何导入数据、导出数据,会学习如何分区导入、如何增量导入,会学习导入过程中如何优化操作等内容。这部分内容是工作中使用频率最高的内容之一。(理论所占比重★ 实战所占比重★★★★)Hive的查询
这部分内容讲解Hive查询语句的基本结构,重点讲解表连接。其中,有一些我们原来不知道的语法如left semi-join、sort by、cluster by等。这部分也在工作中用的是最多的内容之一。(理论所占比重★★ 实战所占比重★★★)Hive的函数
Hive是对查询语法的扩充,Hive运行我们非常方便的使用java来编写函数,特别方便。我们除了简单介绍常见的单行函数、聚合函数、表函数之外,还会介绍如何自定义函数。这样,我们就可以扩充原有函数库,实现自己的业务逻辑。这是体系我们能力的好地方!(理论所占比重★★★ 实战所占比重★★)Hive的文件格式


推荐阅读


上一篇：云计算真的能节省成本吗是否和需求量级有关

下一篇：|盐城旅游消费券今日摇号，你中签了吗?