ClouderaManager大数据平台部署指南..doc

.. 部署指南 Cloudera Manager CDH 官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。第三种方法是全离线方式，实际情况是也只能用这个。 1、Cloudera Manager的部署条件 CDH不支持在容器中部署。 支持Oracle JDK7，目前可使用的必威体育精装版版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。 使用Python2.4及以上，不支持Python3 仅支持IPv4，且IPv6必须要disabled 基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。 支持selinux，但如果不熟悉使用方法，建议关闭。 管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。 2、Cloudera Manager部署的几个阶段和可选择的方式 注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。 主机节点信息和基础配置 （1）主机信息 本次部署使用以下主机，前两个作为NameNode使用。后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。 注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。如果有RAID控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。 注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。 注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别，以提高可靠性。 注4：对于DataNode所在的主机节点，建议系统盘和数据盘完全隔离开，然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的，挂一个也不影响CDH平台运行，但修起来还是很麻烦啊。 0 ?? cluster-70 1? ? cluster-71 2? ? cluster-72 3? ? cluster-73 4? ? cluster-74 5? ? cluster-75 操作系统全部使用CentOS 6.9 Minimal安装。 将全部主机的主机名设置好，并将以上映射关系写到每个主机的/etc/hosts文件中。 （2）免密登录 在cluster-70节点上制作ssh密钥：ssh-keygen 将该密钥分发至其它各节点，以实现免密钥登录，如：ssh-copy-id ?cluster-71 （3）selinux和iptables 所有节点配置为关闭selinux。 所有节点的iptables设置为对同网段地址放开全部端口的访问权限。 （4）系统性能参数调整 中即可。 cat EOF /etc/sysctl.conf vm.swappiness = 0 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv4.ip_local_port_range = 1024 65000 EOF sysctl -p echo never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparent_hugepage/enabled cat EOF /etc/rc.local echo never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparent_hugepage/enabled EOF 4、安装JDK 下载并分发Oracle JDK安装包至所有节点，执行安装和配置命令。 rpm -ivh jdk-7u80-linux-x64.rpm 直接刷下面脚本完成配置： cat EOF /etc/profile JAVA_HOME=/usr/java/jdk1.7.0_80 PATH=\$JAVA_HOME/bin:\$PATH:. CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH ex