大数据运维技术第5章 Hadoop集群运行课件.pptxVIP

Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;;5.3 查看JAVA进程;查看JAVA进程;查看JAVA进程;查看JAVA进程;5.4 查看HDFS的报告;查看HDFS报告;查看HDFS报告;5.5 使用浏览器查看节点状态 ;在浏览器的地址栏输入:50070，进入页面可以查看NameNode和DataNode信息，如图;在浏览器的地址栏输入:50090，进入页面可以查看SecondaryNameNode信息，如图;下面运行WordCount官方案例，统计data.txt文件中单词的出现频度。这个案例可以用来统计年度十大热销产品、年度风云人物、年度最热名词等。 （1）在HDFS文件系统中创建数据输入目录 确保dfs和yarn都启动成功 [hadoop@master hadoop]$ start-yarn.sh [hadoop@master hadoop]$ jps 34257 NameNode 34449 SecondaryNameNode 34494 Jps 32847 ResourceManager? ;如果是第一次运行MapReduce程序，需要先在HDFS文件系统中创建数据输入目录，存放输入数据。这里指定/input目录为输入数据的存放目录。 执行如下命令，在HDFS文件系统中创建/input目录： [hadoop@master hadoop-2.7.1]$ hdfs dfs -mkdir /input [hadoop@master hadoop-2.7.1]$ hdfs dfs -ls / Found 1 items drwxr-xr-x - hadoop supergroup 0 2020-05-02 22:26 /input 此处创建的/input目录是在HDFS文件系统中，只能用HDFS命令查看和操作。 （2）将输入数据文件复制到HDFS的/input目录中 测试用数据文件仍然是上一节所用的测试数据文件~/input/data.txt，内容如下所示。 [hadoop@master hadoop-2.7.1]$ cat ~/input/data.txt Hello World Hello Hadoop Hello Huasan;执行如下命令，将输入数据文件复制到HDFS的/input目录中： [hadoop@master hadoop-2.7.1]$ hdfs dfs -put ~/input/data.txt /input 确认文件已复制到HDFS的/input目录： [hadoop@master hadoop-2.7.1]$ hdfs dfs -ls /input Found 1 items -rw-r--r-- 1 hadoop supergroup 38 2020-05-02 22:32 /input/data.txt （3）运行WordCount案例，计算数据文件中各单词的频度。 运行MapReduce命令需要指定数据输出目录，该目录为HDFS文件系统中的目录，会自动生成。如果在执行MapReduce命令前，该目录已经存在，则执行MapReduce命令会出错。例如MapReduce命令指定数据输出目录为/output，/output目录在HDFS文件系统中已经存在，则执行相应的MapReduce命令就会出错。所以如果不是第一次运行MapReduce，就要先查看HDFS中的文件，是否存在/output目录。如果已经存在/output目录，就要先删除/output目录，再执行上述命令。自动创建的/output目录在HDFS文件系统中，使用HDFS命令查看和操作。 先执行如下命令查看HDFS中的文件： [hadoop@master hadoop-2.7.1]$ hdfs dfs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2020-05-02 22:32 /input drwxr-xr-x - hadoop supergroup 0 2020-05-02 22:49 /output drwx------ - hadoop supergroup 0 2020-05-02 22:39 /tmp ;上述目录中/input目录是输入数据存放的目录，/output目录是输出数据存放的目录。执行如下命令，删除/output目录。 [hadoop@master hadoop-2.7.1]$ hdfs dfs -rm -r -f