江苏龙网

  1. 首页 > 人文 > >

好程序员大数据培训分享Hadoop分布式集群( 二 )


rm -rf id_rsa.pub //删除id_rsa.pub
3)在slave1上面测试
ssh master
依次配置slave2、slave3
到此主从的无密登录已经完成了 。
Hadoop环境搭建
配置master的hadoop环境
1、master上解压缩安装包及创建基本目录
#下载
wget
#解压
tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local
#重命名
mv hadoop-2.7.3 hadoop
2、配置master的hadoop环境变量
1)配置环境变量 ， 修改配置文件vi/etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使得hadoop命令在当前终端立即生效
source /etc/profile
下面配置 ， 文件都在：/usr/local/hadoop/etc/hadoop路径下
2、配置core-site.xml
修改Hadoop核心配置文件/usr/local/hadoop/etc/hadoop/core-site.xml ， 通过fs.default.name指定NameNode的IP地址和端口号 ， 通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹 。

hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.

fs.defaultFS
hdfs://master:9000


特别注意：如没有配置hadoop.tmp.dir参数 ， 此时系统默认的临时目录为：/tmp/hadoo-hadoop 。 而这个目录在每次重启后都会被删除 ， 必须重新执行format才行 ， 否则会出错 。
3、配置hdfs-site.xml：
修改HDFS核心配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml ， 通过dfs.replication指定HDFS的备份因子为3 ， 通过dfs.name.dir指定namenode节点的文件存储目录 ， 通过dfs.data.dir指定datanode节点的文件存储目录 。

dfs.replication
3

dfs.name.dir
/usr/local/hadoop/hdfs/name

dfs.data.dir
/usr/local/hadoop/hdfs/data


4、配置mapred-site.xml
拷贝mapred-site.xml.template为mapred-site.xml ， 在进行修改
cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn

mapred.job.tracker
http://master:9000


5、配置yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.resourcemanager.hostname
master


6、配置masters文件
修改/usr/local/hadoop/etc/hadoop/masters文件 ， 该文件指定namenode节点所在的服务器机器 。 删除localhost ， 添加namenode节点的主机名master;不建议使用IP地址 ， 因为IP地址可能会变化 ， 但是主机名一般不会变化 。
vi /usr/local/hadoop/etc/hadoop/masters
【好程序员大数据培训分享Hadoop分布式集群】##内容


推荐阅读


上一篇：企业|如何利用数据大屏分析来推动智能化管理？

下一篇：惹来|盖茨：我在微软时太天真，没想到成功会惹来反垄断审查