江苏龙网

  1. 主页 > 生活百科 > >

Hadoop运行环境搭建

Hadoop

1 虚拟机环境准备采用前面的章节的方式准备三台虚拟机 ：
 
1）ymm工具
（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况
[root@hadoop100~]# ping www.bAIdu.com PING www.baidu.com (14.215.177.39) 56(84) bytes of data.64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
（2）安装epel-release
注：Extra Packages for Enterprise linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、centos和Scientific Linux 。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release
（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
[root@hadoop100~]# yum install -y net-tools #vim：编辑器[root@hadoop100~]# yum install -y vim  
2）关闭防火墙，关闭防火墙开机自启
[root@hadoop100~]# systemctl stop firewalld [root@hadoop100~]# systemctl disable firewalld.service
注意：在企业开发时，通常单个服务器的防火墙时关闭的 。公司整体对外会设置非常安全的防火墙
3）创建hll用户，并修改hll用户的密码
[root@hadoop100~]# useradd haoll [root@hadoop100~]# passwd haoll  
4）配置hll用户具有root权限，方便后期加sudo执行root权限的命令
注意：hll这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了hll具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码 。所以hll要放到%wheel这行下面 。
5）在/opt目录下创建文件夹，并修改所属主和所属组
（1）在/opt目录下创建module、software文件夹[root@hadoop100~]# mkdir /opt/module [root@hadoop100~]# mkdir /opt/software （2）修改module、software文件夹的所有者和所属组均为haoll用户[root@hadoop100~]# chown haoll:haoll /opt/module [root@hadoop100~]# chown haoll:haoll /opt/software （3）查看module、software文件夹的所有者和所属组[root@hadoop100~]# cd /opt/ [root@hadoop100opt]# ll 总用量 12drwxr-xr-x. 2 haoll haoll 4096 5月28 17:18 moduledrwxr-xr-x. 2 haoll haoll 4096 5月28 17:18 software
6）卸载虚拟机自带的JDK
注意：如果你的虚拟机是最小化安装不需要执行这一步 。
6）重启虚拟机
[root@hadoop100 ~]# reboot
7）修改克隆机主机名，以下以hadoop01举例说明
（1）修改主机名称[root@hadoop100~]# vim /etc/hostname hadoop01（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts[root@hadoop100~]# vim /etc/hosts 添加如下内容192.168.2.200 hadoop01192.168.2.201 hadoop02192.168.2.202 hadoop032 在hadoop01安装JDK 
1）卸载现有JDK
注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK 。详细步骤见问文档3.1节中卸载JDK步骤 。
2）用FileZilla传输工具将JDK导入到opt目录下面的software文件夹下面
 
3）在Linux系统下的opt目录中查看软件包是否导入成功
[hll@hadoop01 ~]$ ls /opt/software/
看到如下结果：
jdk-8u212-linux-x64.tar.gz
4）解压JDK到/opt/module目录下
[hll@hadoop01 software]$ tar -zxvf
jdk-8u212-linux-x64.tar.gz -C /opt/module/
5）配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件
[hll@hadoop01 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin
（2）source一下/etc/profile文件，让新的环境变量PATH生效
[hll@hadoop01 ~]$ source /etc/profile
（3）测试JDK是否安装成功
[hll@hadoop01 ~]$ java -version
如果能看到以下结果，则代表Java安装成功 。
java version "1.8.0_212"
注意：重启（如果java -version可以用就不用重启）
[hll@hadoop01 ~]$ sudo reboot
3 在hadoop01安装HadoopHadoop下载地址：
https://archive.Apache.org/dist/hadoop/common/hadoop-3.1.3/
1）用FileZilla文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
 
2）进入到Hadoop安装包路径下
[hll@hadoop01 ~]$ cd /opt/software/
3）解压安装文件到/opt/module下面
[hll@hadoop01 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4）查看是否解压成功
[hll@hadoop01 software]$ ls /opt/module/
hadoop-3.1.3
5）将Hadoop添加到环境变量


推荐阅读


上一篇：变幻莫测,Mallox勒索病毒家族的第23个变种--.malloxx勒索病毒

下一篇：Redis干货 | 五种常用类型之Hash哈希存储类型详解