Hadoop命令的研究-ITbegin.doc

Hadoop命令的研究 目录 0 概述： 2 1 常规选项： 2 2 用户命令： 2 2.1 archive 2 2.2 distcp 3 2.3 fs 3 2.4 fsck 3 2.5 jar 3 2.6 job 3 2.7 pipes 4 2.8 version 5 2.9 CLASSNAME 5 3 管理命令 5 3.1 balancer 5 3.2 daemonlog 5 3.3 datanode 5 3.4 dfsadmin 6 3.5 jobtracker 7 3.6 namenode 7 3.7 secondarynamenode 7 3.8 tasktracker 7  0 概述： 所有的Hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 The general command line syntax is: hadoop [--config confdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS] 命令选项描述： 命令选项 描述 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf GENERIC_OPTIONS 多个命令都支持的通用选项。 COMMAND 各种各样的命令被分为用户命令和管理命令两组。 Hadoop 有一个选项解析框架用于解析一般的选项和运行类。 1 常规选项： 下面的选项被dfsadmin，fs，fsck，和job支持。应用程序要实现Tool接口来支持常规选项。 GENERIC_OPTION Description -confconfiguration file 指定应用程序的配置文件 -D property=value 为指定property指定值value -fs local|namenode:port 指定namenode -jt local|jobtracker:port 指定job tracker，只适用于job -files 逗号分隔的文件列表 指定要拷贝到map reduce集群的文件的逗号分隔的列表，只是用与job -libjars 逗号分隔的jar列表 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job -archives 逗号分隔的archive列表 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 2 用户命令： Hadoop集群用户的常用命令 2.1 archive 用法编号 命令样式 功能 1 hadoop archive –archiveName src* dest 创建一个hadoop档案文件 用法1： 命令选项 描述 -archiveName 要创建的档案的名字 src 文件系统的路径名，和通常含正则表达的一样 Dest 保存档案文件的目录目标 2.2 distcp 用法编号 命令样式 功能 2 hadoop distcp srcurl desturl 递归地拷贝文件或目录 用法2： 命令选项 描述 srcurl 文件或目录的源url desturl 文件或目录的目标url 2.3 fs 用法编号 命令样式 功能 3 hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS] 运行一个常规的文件系统客户端 2.4 fsck 用法编号 命令样式 功能 4 hadoop fsck [GENERIC_OPTIONS] path [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 运行HDFS文件系统检查工具 用法4： 命令选项 描述 path 检查的起始目录 -move 移动受损文件到/lost+found -delete 删除受损文件 -openforwrite 打印出写打开的文件 -files 打印出正被检查的文件 -blocks 打印出块信息报告 -locations 打印出每个块的位置信息 -racks 打印出data-node的网络拓扑结构 2.5 jar 用法编号 命令样式 功能 5 hadoop jar jar [mainClass] args 运行jar文件 用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行 2.6 job 用法编号 命令样式 功能 6 hadoop job [GENERIC_OPTIONS] [-submit job-file] | [-status job-id] | [-counter job