江苏龙网

  1. 主页 > 生活百科 > >

超详细hadoop集群安装配置教程 搭建hadoop集群

设置hadoop集群(超详细的hadoop集群安装和配置教程)
以及虚拟机Linux系统的安装 ， 在之前的两次分享会上都有详细的介绍 ， 每个步骤都有举例说明 。如果有的朋友还是不能理解 ， 我也没办法 。本文主要详细讲解hadoop服务器操作系统的配置 ， hadoop安装将在下一篇文章中详细介绍 。
Hadoop安装包使用Dakuai DKHadoop发行版 。个人觉得DKHadoop的安装过程比较简单 。请在接下来的分享中详细介绍dkhadoop的安装 。让我们进入本文的主题——服务器操作系统配置教程 。
一、安装包的准备
1.虚拟机的分布式安装(三台或更多虚拟机)
如果是个人电脑Windows系统或Linux系统 ， 虚拟机上有三台虚拟服务器 ， 将安装包复制到服务器上安装 。
2.物理集群(三台或更多物理服务器)
1.外联网下载模式
2.本地文件模式
只需将安装包文件直接复制到实体服务器的根目录下安装即可 。
3.上传模式
当服务器在计算机房中并且没有显示和输入设备时 ， 应用此模式 。
现在 ， 在本地计算机(默认为笔记本电脑 ， 位于机房)上安装文件 ， 将计算机与服务器连接 ， 并将安装包install和DKHInstall上传到服务器的根目录 。
二、服务器操作系统配置教程
准备工作完成后 ， 需要配置服务器 。首先 ， 三台服务器必须相互ping通 。Ping意味着两台设备之间的网络已连接 。从一端发送一个数据包 ， 另一端可以收到 ， 也就是说两台设备可以ping通 。
1.修改权限
目的:使install和DKHInstall这两个安装包具有可执行权限 。权限不足 ， 无法执行某些操作 。install里面是脚本和所有组件 ， DKHInstall里面是安装界面 。
步骤:将安装包install和DKHInstall复制到准备工作中的主节点目录下 ， 然后修改文件权限 。首先进入根目录 ， 安装目录和DKHInstall的权限修改为:文件所有者可以读取、写入和执行 ， 与文件所有者属于一个用户组的其他用户可以读取和执行 ， 其他用户组可以读取和执行 。
命令:
CD/根目录/
解压缩DKHPlantform.zip
chmod -R 755 DKHPlantform
2.设置Hadoop集群并设置SSH秘密登录 。
目的:在Hadoop操作期间 ， 需要管理远程Hadoop守护进程 。Hadoop启动后 ， NameNode通过SSH(安全Shell)启动和停止每个DataNode上的各种守护进程 。因此 ， 有必要以不需要密码输入的形式在节点之间执行指令 。因此 ， 我们需要将SSH配置为使用无密码公钥认证的形式 ， 这样NameNode就可以使用SSH无密码登录并启动DataName进程 。同样 ， DataNode可以使用SSH免密码登录NameNode 。
步骤:
(1)修改本地hosts文件并写入对应关系 。
为了区分局域网中的每台主机 ， 会给每台主机分配一个主机名 ， 每台主机通过IP进行通信 ， 但是IP地址不容易记住 ， 所以配置主机名和IP映射可以实现主机之间快速方便的访问 。
命令:
vi /etc/hosts
按键盘上的insert或I键进入编辑模式 。编辑完成后 ， 按Esc键 ， 然后按Shift+:键 ， 输入wq ， 再按enter保存 。输入q！当你进入时 ， 你放弃保存并退出 。
进入编辑模式后 ， 根据规则写出主机与ip的对应关系(主机名dk41是自己命名的 ， 如下图) 。示例:
192.168.1.41 dk41
192.168.1.42丹麦克朗
192.168.1.43丹麦克朗

Hadoop集群安装配置
编辑完成后 ， 保存并退出 。将信件复制到两台或多台其他机器上 。
命令:
scp-r/etc/hosts 192 . 168 . 1 . 42:/etc
scp-r/etc/hosts 192 . 168 . 1 . 43:/etc
(2)执行集群间保密前的准备工作 。
当执行sshpass.sh的脚本时 ， 您将读取两个文件 ， sshhosts和sshslaves ， 并替换sshpass.sh中的主文件和从文件 。
修改文件sshhosts ， 并输入所有机器的主机名 ， 每行一个主机名(如下所示)
命令:
VI/root/DKHPlantform/autosh/ssh hosts
按键盘上的insert或I键进入编辑模式 。编辑完成后 ， 按Esc键 ， 然后按Shift+:键 ， 输入wq ， 再按enter保存 。输入q！当你进入时 ， 你放弃保存并退出 。

Hadoop集群安装配置
修改文件sshslaves ， 并写入除主机名之外的所有机器名称(如下所示)


推荐阅读


上一篇：你是我挣扎过放弃过 你为什么抛弃我

下一篇：靓丽彩绘文化墙 文化墙彩绘