基于docke搭建spark on yarn及可视化桌面.docx

PAGE PAGE 17基于docker大数据集群搭建技术手册 TOC \o 1-3 一、 简介 PAGEREF _Toc313106080 \h 2二、 docker搭建 PAGEREF _Toc313106081 \h 31. docker搭建 PAGEREF _Toc313106082 \h 32. weave搭建 PAGEREF _Toc313106083 \h 3三、 hadoop集群镜像搭建 PAGEREF _Toc313106084 \h 41. 搭建准备 PAGEREF _Toc313106085 \h 42. hadoop部署 PAGEREF _Toc313106086 \h 43. 扩展：HA部署 PAGEREF _Toc313106087 \h 114. 扩展：namenode的手动删除 PAGEREF _Toc313106088 \h 11四、 集群部署与启动 PAGEREF _Toc313106089 \h 111. docker搭建master和slave集群 PAGEREF _Toc313106090 \h 112. weave设置ip地址 PAGEREF _Toc313106091 \h 123. 服务启动： PAGEREF _Toc313106092 \h 12五、 基于ambari管理平台的镜像搭建 PAGEREF _Toc313106093 \h 141. 部署准备 PAGEREF _Toc313106094 \h 142. 私库配置 PAGEREF _Toc313106095 \h 143. ambari-server安装 PAGEREF _Toc313106096 \h 144. ambari-client安装 PAGEREF _Toc313106097 \h 165. ambari管理 PAGEREF _Toc313106098 \h 17六、 桌面系统XFCE搭建 PAGEREF _Toc313106099 \h 17七、 附录 PAGEREF _Toc313106100 \h 18简介大数据集群部署依托于docker，组建虚拟集群，机组间通过weave搭建互通网络环境，如图1：hbase3Nodejshbase3Nodejs2HadoopHadoopweave其他…mongo4其他weave其他…mongo4其他…tomcat物理机32物理机32物理机31dockerdockerdockerdocker图1hadoop集群搭建YARN平台，基于HDFS。在YARN基础上搭建SPARK进行业务处理，如图2：图2环境版本：Ubuntu 14.04jdk:1.7docker:1.9.1hadoop-2.6.0-cdh5.5.0scala-2.11.7spark-1.5.0-bin-hadoop2.6.tgzzookeeper-3.4.5-cdh5.5.0下载地址见附录1注：集群部署所有权限都为root，请以root权限登陆启动服务docker搭建docker搭建# apt-get install software-properties-common # apt-get install python-software-properties?# add-apt-repository ppa:dotcloud/lxc-docker # apt-get update # apt-get install lxc-docker# docker pull ubuntu:14.04# docker?run?-i?-t?ubuntu:14.04?/bin/bashweave搭建# sudo wget -O /usr/local/bin/weave HYPERLINK /zettio/weave/master/weave /zettio/weave/master/weave# sudo chmod a+x /usr/local/bin/weave# weave launchhadoop集群镜像搭建搭建准备进入新建的一个docker实例，将上述软件包下载并解压到/opt/目录下，各软件包安装路径如下hadoop: /opt/yarn/hadoop-2.6.0-cdh5.5.0spark: /opt/spark-1.5.0-cdh5.5.0scala: /opt/scala-2.11.7hadoop部署配置jdk等环境变量:#vim /etc/profile添加如下配置(根据所安装目录修改路径)：export JAVA_HOME=/usr/local/jdkexport CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/l