Hadoop基础操作陆小马功钟浩.ppt

前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 运行单个Mapreduce任务 实例： 运行单个Mapreduce任务 实例： 1 HDFS基础操作 目录 学习查看Hadoop集群 2 运行当MapReduce任务 3 管理多个MapReduce任务 4 管理多个Mapreduce任务 查询MapReduce任务 在浏览器输入：“http://master:8088/cluster/nodes” 管理多个Mapreduce任务 查询MapReduce任务 提交一个任务后： 它的状态值为“RUNNNING”，表示这个任务正执行中。 管理多个Mapreduce任务 查询MapReduce任务 查看任务信息 管理多个Mapreduce任务 同时提交多个任务 作业0001的状态“RUNNING”，表示它正在执行中。而作业0002的状态是“ACCEPTED”，表示它已被资源管理器YARN接受，目前在等待被分配计算资源，只有当计算资源满足后，才会开始执行。 管理多个Mapreduce任务 同时提交多个任务 在提交两个作业后，集群上的计算资源使用情况 管理多个Mapreduce任务 中断任务 人为中断第1个作业：点击任务1的ID进入任务1，点击图中Kill Application即可中断该任务。 管理多个Mapreduce任务 中断任务 中断后任务状态 PPT问题反馈： /tj/840.jhtml 每一个解释下，并且实验下： 每一个解释下，并且实验下： 每一个解释下，并且实验下： 在hadoop的 发行版中查看源码包 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 前提是要上传一个/user/root/test.txt 文件到HDFS，然后才能运行； 再次运行后会报错，查看错误信息 大数据，成就未来 * 大数据挖掘专家 * 大数据挖掘专家 大数据，成就未来 * 大数据挖掘专家 * 大数据挖掘专家 大数据，成就未来 Hadoop大数据开发基础 * 1 HDFS基础操作 目录 学习查看Hadoop集群 2 运行当MapReduce任务 3 管理多个MapReduce任务 4 查看Hadoop集群信息 存储系统信息 在WEB浏览器的地址栏输入“http://master:50070/” 查看Hadoop集群信息 数据节点信息 查看Hadoop集群信息 存储系统信息 hdfs dfsadmin -report [-live] [-dead] [-decommissioning] 在集群服务器的终端，输入相关的查询命令“hdfs dfsadmin -report”就可以获得。 hdfs dfsadmin -report命令的基本格式如下。 各个子选项的用法说明如下。 -report：输出文件系统的基本信息及相关数据统计。 -report -live：输出文件系统中在线节点的基本信息及相关数据统计。 -report -dead：输出文件系统中失效节点的基本信息及相关数据统计。 -report -decommissioning：输出文件系统中停用节点的基本信息及相关数据统计。 通过命令查询集群信息： Hadoop命令—HDFS常用shell命令 查看集群数据节点： #hdfs dfsadmin -report Configured Capacity: 58426654720 (54.41 GB) Present Capacity: 51292434432 (47.77 GB) DFS Remaining: 51291844608 (47.77 GB) DFS Used: 58982