大数据之hdfs，hdfs大数据概念_数据

文章插图

CDA数据分析师出品

HDFS 是一个分布式文件系统，就像任何其它文件系统，它允许用户使用 shell 命令操作文件系统。接下来我们结合之前搭建好的分布式集群通过HDFS的shell命令行交互来进一步认识HDFS，并演示怎样使用 HDFS shell 命令。值得注意的是，HDFS 命令大多与 Unix 命令有一对一的关系。
首先打开我们的master、slave1、slave2三台虚拟机，然后在master的终端中输入如下命令来启动HDFS，
start-dfs.sh
启动过程如下图所示，启动完成后执行命令jps查看进程是否启动

文章插图
创建路径mkdir
如果你的 HDFS home 目录不存在，请先创建它并修改权限。
创建 HDFS home 目录的命令如下：
hdfs dfs –mkdir /user
hdfs dfs –mkdir /user/hduser #这样的用法只能一级一级创建目录，父目录不存在使用此命令会报错
或者
hdfs dfs –mkdir –p /user/hduser #所创建的目录如果父目录不存在就创建该目录
上面创建的/user/hduser 相当于 HDFS 中的用户当前目录，后面可以看到复制文件时无需指定绝对目录。
查看目录ls
运行下面的命令，列出 HDFS home 目录的内容。
hdfs dfs –ls #列出用户主目录的内容
hdfs dfs –ls / #列出 hdfs 文件系统根目录下的目录和文件
hdfs dfs –ls –R /#列出hdfs文件系统所有目录

文章插图
读取文档cat
HDFS 文件系统有一个/作为根目录。如下面的命令是读取/user/hduser/fib.csv 文件并打印到屏幕上，就像 Unix 系统中的 cat 命令：
hdfs dfs –cat /user/hduser/fib.csv
更改文件属性chmod chown
HDFS中针对文件和目录的权限模式与传统操作系统类似，一共提供三类权限模式：只读权限（r）、写入权限（w）、可执行权限（x）。读取文件或列出目录内容时需要只读权限，写入一个文件或是在一个目录上新建及删除文件、目录需要写入权限。不过可执行权限可以忽略，因为你不可能在hdfs上执行一个文件，这是与一般操作系统的文件系统是有区别的地方。修改 HDFS home目录权限的命令如下：
hdfs dfs –chmod –R 755 /user/hduser
hdfs dfs –chown hduser /user/hduser

文章插图
上传文档
运行下面的命令，在你的 HDFS home 目录中创建一个新的 input 目录：
【大数据之hdfs，hdfs大数据概念】hdfs dfs –mkdir input
运行如下的命令来列出在 HDFS 重新创建的目录的内容：
hdfs dfs -ls input
运行如下的命令，将本地 readme.txt 文件拷贝到 input 目录中：
hdfs dfs –copyFromLocal readme.txt input
或
hdfs dfs –put readme.txt input # hdfs file 的父目录一定要存在，否则命令不会执行
运行如下的命令，将本地文件夹 wc-input 上传到 HDFS 文件系统：
hdfs dfs –copyFromLocal wc-input .
或者
hdfs dfs –copyFromLocal wc-input input/wc-input
运行如下的命令，列出 input 目录：
hdfs dfs –ls input
好啦小伙伴们今天HDFS的命令就介绍这些，下篇文章中我们继续介绍一些从hdfs下载文件到本地、复制、移动等高级命令，敬请期待。