centos下Hadoop配置和使用11.docx

Linux下Hadoop分布式配置和使用秦召红 2011年12月目 录介绍20 集群网络环境介绍31 /etc/hosts文件配置32 建立ssh无密码登陆33 JDK安装和Java环境变量配置43.1 安装 JDK 1.643.2 Java环境变量配置44 Hadoop集群配置55 Hadoop集群启动66 Hadoop使用86.1 客户机与HDFS进行交互96.1.1 客户机配置96.1.2 列出HDFS根目录/下的文件96.1.3 列出当前用户主目录下的文件106.1.4 HDFS用户管理106.1.5 复制本地数据到HDFS中106.1.6 数据副本说明116.1.7 hadoop-site.xml参数说明116.1.8 HDFS中的路径126.1.8 Hadoop相关命令136.2 客户机提交作业到集群136.2.1 客户机配置136.2.2 一个测试例子WordCount146.2.3 编写Hadoop应用程序并在集群上运行146.2.4 三种模式下编译运行Hadoop应用程序156.2.5 提交多个作业到集群16附 程序17介绍这是本人在完全分布式环境下在Cent-OS5.6中配置Hadoop-时的总结文档，但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml，hdfs-site.xml和mapred-site.xml，这里会说明0.20后的版本中如何配置这三个文件)。Hadoop配置建议所有配置文件中使用主机名进行配置，并且机器上应在防火墙中开启相应端口，并设置SSHD服务为开机启动，此外java环境变量可以在/etc/profile中配置。0 集群网络环境介绍集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：0 master namenode 44 slave1 datanode018 slave2 datanode02所有节点均是Cent-OS系统，防火墙均禁用，sshd服务均开启并设置为开机启动。所有节点上均创建了一个目录/usr/local/ hadoop-，并且拥有者是hadoop用户。因为该目录用于安装hadoop，用户对其必须有rwx权限。1 /etc/hosts文件配置namenode节点上编辑/etc/hosts文件将所有节点的名字和IP地址写入其中，写入如下内容，注意注释掉行，保证内容如下：0 master44 slave18 slave2# centos54 localhost.localdomain localhost2 建立ssh无密码登陆Namenode向datanode发命令是靠ssh来发的，发命令肯定是在运行的时候发，发的时候肯定不希望发一次就要输入一次密码，因此我们需要实现NameNode无密码登陆到所有DataNode。原理Namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给node收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。所有机器上生成密码对，所有节点上执行以下命令:ssh-keygen -t rsa Generating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): 默认路径Enter passphrase (empty for no passphrase): 回车，空密码Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.这将在/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。把NameNode上的id_rsa.pub文件追加到datanode的authorized_keys内（当前并没有a