安装hadopCDH5安装服务步骤.doc

CDH5上安装Hive,HBase,Impala,Spark等服务 2 一、安装前准备工作 2 1、下载安装中需要的文件： 2 2、准备安装的服务器 3 3、在web服务器上发布CentOS-6.5-x86_64安装盘文件 3 4、创建 hosts 和 yum配置文件 4 5、 上安装 PostgreSQL 4 二、图解Hive,HBase,Impala,Spark 的安装和配置 5 1、登录CM5 5 2、选择Cloudera Express 5 3、可供选择的安装包列表 6 4、为CDH集群指定主机 7 5、进入添加主机向导 8 6、进入添加服务向导： 14 7、进入CM首页 25 三、小结 26 CDH5上安装Hive,HBase,Impala,Spark等服务 Apache Hadoop的服务的部署比较繁琐，需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用 了Cloudera Manager方式进行安装。 Cloudera Manager提供两种软件包安装源，Package 和?Parcel： Package就是一个个rpm文件，以yum的方式组织起来。 Parcel是rpm包的压缩格式，以.parcel结尾，所有的 rpm压缩在一个文件中，方便下载和分发，使用manifest.json文件对parcel文件进行描述，将parcel文件保存到局域网内的Web服 务器上，安装过程中就不需要从互联网上下载文件了，实现了离线安装。 安装Hive,HBase,Impala,Spark之前，Cloudera Manager应该已经安装好了，参见：本地Yum软件源安装Cloudera Manager 5?这篇文章，使用的操作系统为?CentOS-6.5-x86_64，CM版本为 5.0.2 ，采用parcel包方式安装， 从?/cdh5/parcels/3/ 下载如下的文件，保存到Web服务器的?/var/www/html/cdh5/parcels/latest?目录?： [root@localhost?latest]#?pwd?? /var/www/html/cdh5/parcels/latest?? [root@localhost?latest]#?ll?? total?1793948?? -rw-r--r--?1?root?root?1836961055?Jun?15?06:51?CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel?? -rw-r--r--?1?root?root??????33190?Jun?15?09:04?manifest.json?? 从?/redhat/cdh/ 下载：RPM-GPG-KEY-cloudera，这是对rpm包进行校验的文件，保存到Web服务器的?/var/www/html/redhat/cdh 目录： [root@localhost?cdh]#?pwd?? /var/www/html/redhat/cdh?? [root@localhost?cdh]#?ll?? total?4?? -rw-r--r--?1?root?root?1690?Jun?16?07:32?RPM-GPG-KEY-cloudera?? [root@localhost?cdh]#??? 2、准备安装的服务器 测试环境一共使用了六台服务器，列表如下： 服务器列表 ip地址 hostname 描述信息 40 本地web服务器 41 CM，管理节点 51 节点1 52 节点2 53 节点3 54 节点4 ip地址 hostname 描述信息 hadoopnamenode 本地web服务器 hadoopnamenode CM，管理节点 Hadoopdatanode1 节点1 所有的服务器上安装CentOS-6.5-x86_64，并关闭防火墙、selinux、保持时间一致。保持所有的root用户密码一致。一个 Hadoop集群中的节点最少为三台，本测试环境的节点为四台，上面的ip地址需要根据自已的网络情况进行调整，这是我搭建的虚拟机的IP。 安装过程中，需要从CentOS-6.5-x86_64安装盘上读取一些rpm包，需要将安装盘发布为本地yum源。将安装盘挂载到web服务器，并添加软连接到web目录，web服务器上的web根目录如下： [root@localhost?html]#?pwd?? /var/www/html?? [root@localhost?html]#?ll?? total