使用Cloudera Manager安装Hadoop.docx

使用Cloudera Manager安装Hadoop运行环境软硬件环境l??主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存l??虚拟软件：VMware?Workstation 9.0.0 build-812388l??虚拟机操作系统：CentOs 64bit，单核，2G内存l??JDK：1.7.0_45 64 bitl??Hadoop：2.2.0集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：l??41??hadoo1 (namenode))l??39??hadoo2 (datanode01)l??40??hadoo3 (datanode03)所有节点均是CentOS系统，防火墙iptables均禁用环境搭建本集群分为三个节点，先安装节点hadoop1（41），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（39）和hadoop3（40）。设置IP1.? ? 点击System--Preferences--Network Connections，如下图所示：2.? ? 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：? ?? ?IP地址： 21? ?? ?子网掩码： ? ?? ?网关：? ???? ?? ?DNS：? ? 10.*.*.* (使用DNS上网需要设置)3.? ? 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：设置Host文件1.? ? 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：l? ???41 hadoop1.localdomainl? ? 39 hadoop2.localdomainl? ? 40 hadoop2.localdomain2.? ? 使用如下命令对网络设置进行重启sudo /etc/init.d/network restart3.? ? 验证设置是否成功关闭防火墙在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常1.? ? service iptables status 查看防火墙状态，如下所示表示iptables已经开启2.? ? 使用如下命令关闭iptables，执行该命令后重启机器生效chkconfig iptables off关闭SElinux1.? ? 使用getenforce命令查看是否关闭2.? ? 修改/etc/selinux/config 文件将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3SSH无密码验证配置(这一步可省略)3.? ? 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；4.? ? 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；5.? ? 把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；6.? ? 把三个节点的公钥信息保存到authorized_key文件中使用cat authorized_keys_hadoop1 authorized_keys命令7.? ? 把该文件分发到其他两个从节点上使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去8.? ? 测试ssh免密码登录是否生效Cloudera Manager安装下载Cloudera Manager安装文件Cloudera Manager的可以从如下网址获得：/cm5/installer/这里选择Cloudera Manager 必威体育精装版版5.0.1/cm5/installer/latest/cloudera-manager-installer.bin下载Cloudera Manager所需的rpm包下载网址为：/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/安装rpm文件l 将下载的rpm包放入文件夹rpm（文件夹名随意）l cd??./rpm（进入rpm目录）l yum localinstall –-nogpgch