电信人口大数据项目部署运维手册.docxVIP

电信人口大数据项目部署运维手册

XX科技股份有限公司编制

目录

TOC\o1-3\h\z\u一、文章编写目的 5

二、前置准备 5

2.1配置网络ip 5

2.2编写相关操作脚本 8

1.批量执行命令脚本 8

2.批量重命名脚本 9

3.批量拷贝脚本 10

4.cm_migrate.sh 12

5.format2.sh 12

6.mountDisk.sh 12

7.network.sh 13

8.node.list 14

9.node.txt 14

2.3hostname及hosts配置 14

1.配置每台节点的hostname 14

2.配置节点ip、hostname映射 15

2.4禁用SELinux 15

2.5关闭防火墙 16

2.6设置swappiness 17

2.7关闭透明大页面 18

2.8配置操作系统本地yum源 19

2.9安装http服务 20

2.10集群时钟同步 23

1.所有机器卸载chrony 23

2.所有机器安装ntp 23

3.node1机器配置时钟与自己同步 23

4.集群其它节点，配置找node1机器去同步 23

5.重启所有机器的ntp服务 24

6.验证始终同步，在所有节点执行ntpq-p命令，如下使用脚本批量执行 24

2.11安装MariaDB 24

三、ClouderaManager安装 29

3.1配置本地CM源 29

3.2安装ClouderaManagerServer 32

四、CDH安装 33

4.1CDH集群安装向导 33

4.2集群设置安装向导 40

五、HBASE安装 44

5.1准备工作： 44

5.2安装： 44

1.下载hbase1.3.2 44

2.解压 44

3．配置环境变量~/.base_profile 44

4．hbase-env.sh配置java_home和ZK 45

5.hbase-site.xml配置参数 45

6．配置regionserver 46

7．scp-rhbase到其他节点 46

六、Flume安装 47

6.1安装 47

七、Kafka安装: 47

7.1安装 47

一、文章编写目的

本文档主要描述Cloudera电信人口大数据系统的安装主要分为4个步骤：

集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档《CDH安装前置准备》；

安装ClouderaManager；

通过ClouderaManager的WebUI向导式安装CDH集群；

集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。

本文操作说明基于以下假设：

操作系统版本：Redhat7.4

CDH和CM版本均为5.16.1

采用root对集群进行部署

您已经下载CDH和CM的安装包

二、前置准备

2.1配置网络ip

开启虚拟机，修改配置文件

输入如下命令

ll/etc/sysconfig/network-scripts/ifcfg-*

会出现如下内容（ifcfg-ens后面的名字可能不同）

-rw.1rootroot6168月1319:25/etc/sysconfig/network-scripts/ifcfg-en-rw-r--r--.1rootroot2541月32018/etc/sysconfig/network-scripts/ifcfg-lo

输入如下命令

vi/etc/sysconfig/network-scripts/ifcfg-en出现下图界面

[root@cm1network-scripts]#viifcfg-en#网络类型（通常是Ethernet）

TYPE=Ethernet

#IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）

BOOTPROTO=dhcp

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_F