2020军队文职计算机知识：大数据技术之HDFS

【导语】2020军队文职计算机知识：大数据技术之HDFS已发布，为助力各位考生做好2020年军队文职招聘考试准备，红师军队文职考试网提供了军队文职专业科目和综合辅导等内容，祝大家考试顺利。

现在业务产生的数据量越来越大，这些数据量已经远远超过了单独一个操作系统的管辖能力，这时需要把这些数据分配到更多的机器上进行管理。但是这又带来一个新的问题，就是分布在多个机器上的文件，非常不方便进行集中的维护和管理。这时迫切需要一种新的系统，能够统一管理和维护多台机器上的文件，这就是分布式文件管理系统的由来。

HDFS(Hadoop Distributed File System)，Hadoop分布式文件系统。首先，HDFS是一个文件系统，用来存储文件，其次，它是分布式的。也就是由很多机器构成的集群共同完成其功能。

任何系统，我们都有对应的命令来操作哦，HDFS也不例外。下面，我们就来看下HDFS的shell客户端操作。

基本语法：

bin/hadoop fs 具体命令

常用命令：

1) 启动Hadoop集群

[root@node1 hadoop-2.7.2]$ sbin/start-dfs.sh

[root@ node2 hadoop-2.7.2]$ sbin/start-yarn.sh

1) -help：输出这个命令参数

[root@node1 hadoop-2.7.2]$ hadoop fs -help rm

2) -ls: 显示目录信息

[root@node1 hadoop-2.7.2]$ hadoop fs -ls /

3) -mkdir：在hdfs上创建目录

[root@node1 hadoop-2.7.2]$ hadoop fs -mkdir -p /d1/d11

4) -moveFromLocal从本地剪切粘贴到hdfs

[root@node1 hadoop-2.7.2]$ touch t1.txt

[root@node1 hadoop-2.7.2]$ hadoop fs -moveFromLocal ./t1.txt /d1/d11

5) -appendToFile ：追加一个文件到已经存在的文件末尾

[root@node1 hadoop-2.7.2]$ touch t2.txt

[root@node1 hadoop-2.7.2]$ vim t2.txt

输入

Good morning!

[root@node2 hadoop-2.7.2]$ Hadoop fs -appendToFile t1.txt /d1/d11/t2.txt

6) -cat：显示文件内容

[root@node1 hadoop-2.7.2]$ hadoop fs -cat /d1/d11/t1.txt

7) -tail：显示一个文件的末尾

[root@node1 hadoop-2.7.2]$ hadoop fs -tail /d1/d11/t1.txt

8) -chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

[root@node1 hadoop-2.7.2]$ hadoop fs -chmod 666 /d1/d11/t1.txt

[root@node1 hadoop-2.7.2]$ hadoop fs -chown root:root /d1/d11/t2.txt

9) -copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

[root@node1 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

10) -copyToLocal：从hdfs拷贝到本地

[root@hadoop101 hadoop-2.7.2]$hadoop fs -copyToLocal /d1/d11/t2.txt ./

11) -cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

[root@node1 hadoop-2.7.2]$ hadoop fs -cp /d1/d11/t1.txt /hello.txt

12) -mv：在hdfs目录中移动文件

[root@node1 hadoop-2.7.2]$ hadoop fs -mv /hello.txt /d1/d11/

13) -get：等同于copyToLocal，就是从hdfs下载文件到本地

[root@node1 hadoop-2.7.2]$ hadoop fs -get /d1/d11/t2.txt ./

14) -getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

[root@node1 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt

15) -put：等同于copyFromLocal

[root@node1 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /sanguo/shuguo/

16) -rm：删除文件或文件夹

[root@node1 hadoop-2.7.2]$ hadoop fs -rm /user/root/test/jinlian2.txt

17) -rmdir：删除空目录

[root@node1 hadoop-2.7.2]$ hadoop fs -mkdir /test

[root@node1 hadoop-2.7.2]$ hadoop fs -rmdir /test

18) -du统计文件夹的大小信息

[root@node1 hadoop-2.7.2]$ hadoop fs -du -s -h /user/root/test

2.7 K /user/root/test

[root@node2 hadoop-2.7.2]$ hadoop fs -du -h /user/root/test

1.3 K /user/root/test/README.txt

15 /user/root/test/aa.txt

1.4 K /user/root/test/aaa.txt

19) -setrep：设置hdfs中文件的副本数量

[root@node1 hadoop-2.7.2]$ hadoop fs -setrep 10 /d1/d11/t1.txt