CDH5.4.7安装部署手册.docx

CDH5.4.7安装部署手册、文档编号：版 本 号：V1.0编 写：审 核：修订记录版本号修订日期章节号修订内容修订人批准人目录1 软件介绍51.1 关于CDH和Cloudera Manager52 环境准备52.1 集群规划52.2 环境部署72.2.1 MySQL下载72.2.2 JDK下载72.2.3 CDH下载72.2.4 JDK的安装 (所有节点)82.2.5 关闭防火墙（所有节点）92.2.6 SSH无密码登陆?（所有节点）102.2.7 安装NTP时间同步服务（所有节点）112.2.8 安装MySQL143 Cloudera Manager安装173.1 Cloudera Manager安装173.1.1 master配置183.1.2 agent配置193.2 安装Cloudera Manager所需的rpm包203.2.1 安装rpm文件203.2.2 本地源配置213.3 启动Cloudera Manager223.3.1 开启Cloudera Manager 5 Server端223.3.2 重启Cloudera Manager 5 Server端233.3.3 启动Agent234 安装CDH235 CM卸载276 杂记：Namenode和Secondarynamenode的关系【转】27软件介绍关于CDH和Cloudera ManagerCM:?Cloudera?Manager?（Cloudera公司专有的Hadoop集群管控平台）?。CDH:?Cloudera?Distributed?Hadoop（Cloudera公司重新打包发布的Hadoop版本） 。/view/908354.htmHadoop是一个由Apache基金会所开发的/view/991489.htm分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。?Hadoop实现了一个/view/771589.htm分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高/view/2700299.htm容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问/view/330120.htm应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。环境准备集群规划IP地址主机名角色1c1n1NN/ RM/ HMaster/ZKFC/JobHistoryServer2c1n2NN/ RM/ HMaster/ZKFC 3c1d1DN/ NM/ HRegionServer 4c1d2DN/ NM/ HRegionServer 5c1d3DN/ NM/ HRegionServer 6c1d4DN/ NM/ HRegionServer 7c1d5DN/ NM/ HRegionServer 8c1d6DN/ NM/ HRegionServer 9c1d7DN/ NM/ HRegionServer 0c1d8DN/ NM/ HRegionServer/ JN/ ZK1c1d9DN/ NM/ HRegionServer/ JN/ ZK2c1d10DN/ NM/ HRegionServer/ JN/ ZK 服务器配置：软硬件配置：账号密码1Namenode、HmasterResourceManager[1-2][2台]主机型号 Dell PowerEdge R720rootbig@1data物理机硬件配置(CPU/MEM)10C/64G物理机硬件配置(DISK)1T 硬盘 x1550G 硬盘 x2操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42Datanode、NodeManager、HRegionServer[3--9][7台]主机型号 Dell PowerEdge R620rootbig@1data物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x4操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.43Zookeeper[0--2][3台]主机型号 Dell PowerEdge R620rootbig@1data物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)