大数据集群配置过程_hadoop篇教程.docx

大数据集群配置过程_hadoop篇 JDDC_SEED_BIGDATA 2015-01-15 修改历史修改日期担当者审阅人版本号新增2015-01-15孙云涛V1.0 概述 本篇文档主要讲解hadoop的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。 在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下： 由于我们所使用的操作系统centos6.5是32位，而且hadoop2.2.0是官方推荐的稳定版本，所以本次安装的hadoop是2.2.0版本，具体的安装方式和配置方式请参考本篇文档的正文部分。 正文 本次hadoop集群规模以及分布如下： 主机IP主机名主机角色操作系统02hadoop02namenodeCentos6.501hadoop01datanodeCentos6.503hadoop03datanodeCentos6.504hadoop04datanodeCentos6.5 注意：datanode的数量要求是奇数，否则后继安装hbase时会报错。 2.1操作系统安装 每台主机都安装centos6.5,安装时可以用desktop方式进行安装，但是安装完成之后需要把启动模式改命令行模式，然后重新启动每台主机。 修改启动模式需要修改/etc/inittab这个文件 把id后面的数字改成3 2.2配置网络 Hadoop集群中的第个主机节点需要配置成静态IP,配置IP时需要修改/etc/sysconfig/network-scripts/ifcfg-eth0这个文件，修改内容如下（以namenode的文件为例） 修改完成之后，需要运行service network restart这个命令。 其它各个datanode主机也需要按同样的方式对网络进行配置，三个datanode的IP分别为：01；03；04。网络配置完成之后要通过ping命令确认各主机之间是否能访问。 2.3修改主机名 由于hadoop集群，特别是hbase集群在各节点在通信过程中直接使用IP会出现问题，所以集群中每个节点主机要配置一个固定的主机名。 修改/etc/sysconfig/network这个文件 Namenode节点： Datanode节点1： Datanode节点2： Datanode节点3： 修改/etc/hosts文件 注意默认 localhost后面会有其它内容，建意删掉，否则hadoop集群能正常启动运行，但使用hbase时会出现访问拒绝的情况。 在namenode节点上修改完成/ect/hosts这个文件之后可以通过scp命令复制到各个datanode节点上。 Scp命令示例： scp /etc/hosts 01:/etc scp /etc/hosts 03:/etc scp /etc/hosts 04:/etc 2.4配置ssh无密码登陆 1 ）在namenode节点上执行命令 ssh-keygen -t rsa 之后一路回 车，查看刚生成的无密码钥对： cd .ssh 后 执行 ll 2 、把 id_rsa.pub 追加到授权的 key 里面去。 执行命令 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 3 、修改权限： 执行 chmod 600 ~/.ssh/authorized_keys 4 、确保 cat /etc/ssh/sshd_config 中存在如下内容 RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 如需修改， 则在修改后执行重启 SSH 服 务命令使其生效 :service sshd restart 5 、将公钥复制到所有的 datanode节点上 scp ~/.ssh/id_rsa.pub 01: ~/ scp ~/.ssh/id_rsa.pub 03: ~/ scp ~/.ssh/id_rsa.pub