Hadoop大数据开发基础Hadoop基础操作.pdf

Hadoop大数据开发基础 2022/9/3 目录 1 学习查看Hadoop集群 2 HDFS基础操作 运行当MapReduce任务 4 管理多个MapReduce任务 2 查看Hadoop集群信息 存储系统信息 在WEB浏览器地地址栏输入http://master:50070/ 3 查看Hadoop集群信息 数据节点信息 4 查看Hadoop集群信息 存储系统信息 通过命令查询集群信息: 在集群服务器地终端,输入有关地查询命令hdfs dfsadmin -report就可 以获得。 hdfs dfsadmin -report命令地基本格式如下。 hdfs dfsadmin -report [-live] [-dead] [-demissioning] 各个子选项地用法说明如下。 -report:输出文件系统地基本信息及有关数据统计。 -report -live:输出文件系统中在线节点地基本信息及有关数据统计。 -report -dead:输出文件系统中失效节点地基本信息及有关数据统计。 -report -demissioning:输出文件系统中停用节点地基本信息及有关数据统 计。 5 Hadoop命令—HDFS常用shell命令 查看集群数据节点: #hdfsdfsadmin-report Livedatanodes(2): ConfiguredCapacity:58426654720(54.41GB) PresentCapacity:51292434432(47.77GB) Name:01:50010(node101.example.) Name:02:50010(node102.example.) DFSRemaining:51291844608(47.77GB) Hostname:node101.example. DFSUsed:589824(576KB) Hostname:node102.example. DemissionStatus:Normal DemissionStatus:Normal DF