在CentOS6.5环境下安装CDH5.1.docx

在CentOS6.5环境下安装CDH5.1 关于CDH和Cloudera Manager CDH (Clouderas Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。 1. 安装方案及节点规划 NameNode和ResourceManager是两个独立的功能单元，二者可以集中部署，亦可分布式部署。由于测试环境有限，把NameNode和ResourceManager部署到一起。 主机IP角色需要的程序备注n133Namenode/DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n234Namenode/DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n335DatanodeDatanode、NodeManager-n133ResourceManagerResourceManagerRM主备n335ResourceManagerResourceManagerRM主备n133JobHistoryServerJobHistoryServer-注意：如果使用VMWare虚拟机安装Linux，需要使用NAT模式，并将虚拟机的IP地址指定好，否则在不同的网络环境下IP可能会发生变化，导致无法使用，但是NAT模式无法与外界的局域网通信，所以如果是在服务器上虚拟化的使用场景，必须使用更复杂的桥接模式，详情参考[] 2. 安装准备 2.1 修改主机名 对集群内的节点规划不同的主机名 查看主机名的命令 hostname 临时修改主机名的命令 hostname new_hostname 临时修改主机名只有当前有效，重启后即取消，如果要彻底修改主机名，需要修改配置文件 vi /etc/sysconfig/network 修改HOSTNAME NETWORKING=yes HOSTNAME=n1 然后重启网络 service network restart 最后修改hosts文件，增加ip与hostname的对应关系 vi /etc/sysconfig/hosts 增加ip与hostname的对应关系 33 n1 n1.localdomain 34 n2 n2.localdomain 35 n3 n3.localdomain 注意：这里必须是三个，即nn.localdomain不可或缺，否则后面的hdfs配置会出问题 2.2 防火墙配置 防火墙配置，关闭每个节点的selinux / iptables (用root用户执行) 1. 关闭iptables service iptables stop #停止服务 chkconfig --del iptables #关闭服务自动重启 关闭selinux 修改/etc/selinux/config vi /etc/selinux/config SELINUX=disabled 2.3 配置SSH **注意：CentOS6.5环境下需要先[安装SSH服务] 在主节点上执行以下命令，生成无密码的密钥对。 ssh-keygen -t rsa 一路回车即可，然后将公钥添加到认证文件中 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 然后并设置authorized_keys的访问权限 chmod 600 ~/.ssh/authorized_keys 最后将scp文件到所有datenode节点 scp ~/.ssh/authorized_keys root@n2:~/.ssh/ 测试：在主节点上ssh n2，正常情况下，不需要密码就能直接登陆进去了。 2.4 安装JDK 注意：这里一定要安装JDK，而且最好在1.7版本以上，CentOS中自带的是JRE，不是JDK，不安装JDK的话Sqoop无法使用。另外Spark需要JDK1.7版本以上，可以考虑直接安装必威体育精装版的JDK1.8。 2.5 配置hosts 把集群中的各个节点配置到每个节点的/etc/hosts中。 33 n1 34 n2 35 n3 注意：要把ho