HADOOP集群自动化安装手册.docx

Hadoop集群自动化安装手册.Ambari简介来自Apache官方文档官网地址：/??Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。Ambari现在支持的组件包括以下几个：/docs/hdfsHDFS,?/docs/mapreduceMapReduce,?/Hive,?/hcatalogHCatalog,?/HBase,?/ZooKeeper,?/oozie/Oozie,?/Pig,?/SqoopAmbari允许系统管理员进行以下操作：提供一个hadoop集群Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机Ambari处理集群的hadoop服务配置。管理一个hadoop集群Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置监控一个hadoop集群Ambari提供了一个面板实时监控hadoop集群的健康和状态Ambari通过Ganglia来收集指标Ambari通过Nagios来进行系统预警，当你需要注意的时候给你发邮件（例如：一个节点宕机了，提醒磁盘空间不足，等等）Ambari允许程序开发人员和系统集成商：对他们自己的应用程序通过使用Ambari REST的api 简单的集成hadoop提供、管理和监控的能力安装所需条件操作系统的需求CentOS版本6.3 (64位)备注：操作系统安装的时候选择Basic Server就可以了，不要安装Open JDK。不要安装postgresql数据库最为集群主节点的机器磁盘要做RAID，这样主要是为了保护关键性的数据文件，通常配置是RAID 1+0 或者 RAID 0 +1，其他从节点（数据节点）磁盘配置采用JBOD模式，直接挂载的文件系统的根目录下。文件系统使用EXT4软件的需求ambari-1.6.0 (x86_64) for centos 6HDP-UTILS-7 for centos 6HDP-UTILS-6 for centos6HDP- for centos6CentOS-6.3-x86_64-bin-DVD1.isoCentOS-6.3-x86_64-bin-DVD2.iso（镜像必须和系统相同）JDK的需求Oracle JDK 1.7_45 64-bit (默认)Oracle JDK 1.6.0_31 64-bit安装示例说明所选操作系统集群设定Ambari版本Jdk版本Centos6.3 64位2?dp22(master)3?dp234 dp245dp251.6.0Oracle JDK 1.7_45 64-bit注意此处的主机名不符合完全限定域名(fully qualified domain name,FQDN)的规范，只是为了展示方便。安装前的先决条件系统时间同步必须运行ntpd（时钟同步）服务安装Ambari前的操作系统准备配置主机名# vi /etc/sysconfig/network例如：NETWORKING=yesHOSTNAME=master注意Ambari配置集群信息的时候是通过全限定主机名来确定集群中的机器信息的，所以必须确保主机名无误配置集群信息注意：将所有的机器IP地址和主机名写到hosts文件中，然后将这个文件复制到所有机器的/etc/目录下。# vi /etc/hosts?配置ssh免密码互通在master节点上用root用户登录,在当前linux root用户下执行一下命令： # ssh-keygen然后一路回车即可，此操作会在/root生成一个.ssh隐藏文件夹，文件夹中有两个文件：id_rsa（私钥）和id_rsa.pub（公钥）。配置主节点到所有从节点的免密码登录，按照提示输入相应的信息。格式：ssh-copy-id -i .ssh/id_rsa.pub root@hostname例如:# ssh-copy-id -i .ssh/id_rsa.pub root@dp22?# ssh-copy-id -i .ssh/id_rsa.pub root@dp23在master上测试连接：# shh dp22# shh dp23成功即可进行下一步，不成功删除.ssh文件夹及其所含文件即可关闭selinux查看selinux状态# /usr/sbin/sestatus –v临时关闭# setenforce 0永久关闭SELinux# vi /etc/selinux/config将SELINUX=enforcing改为SELINUX=disabled重启生效，重启命令为：# reboot关闭iptables防火墙# chkconfi