ApacheStorm集群搭建..docx

Apache Storm集群搭建邹中凡2014-8-29目录1机器准备32集群安装主要步骤33搭建Zookeeper集群33.1Zookeeper安装33.2Zookeeper配置43.2.1配置zoo.cfg43.2.2配置myid53.3启动Zookeeper集群53.4安装验证63.4.1通过状态63.4.2通过端口63.4.3通过进程63.5停止Zookeeper集群64安装Storm依赖库74.1安装JDK74.2安装ZeroMQ2.1.774.3安装jzmq74.4安装Python2.6.684.5安装unzip84.6安装问题处理85安装Storm和配置Storm85.1安装Storm85.2配置Storm96启动Storm集群107安装验证107.1安装构建storm-starter107.2提交一个Topology10机器准备准备如下机器，可以物理机也可以是虚拟机。机器主机名安装的操作系统内存磁盘安装的组件datanode-1Centos 6.4 64位4GB40GBNimbus，Supervisor，Zookeeperdatanode-2Centos 6.4 64位4GB40GBSupervisor，Zookeeperdatanode-3Centos 6.4 64位4GB40GBSupervisor，Zookeeper下面基于以上配置和要求搭建Storm集群。集群安装主要步骤搭建Zookeeper集群安装Storm依赖库安装Storm以及配置Storm（storm.yaml）启动Storm集群搭建Zookeeper集群Zookeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的Zookeeper集群的时候，每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。在每个节点的/etc/hosts中配置如下信息：1 datanode-2 datanode-3 datanode-3Zookeeper采用一种称为Leader election的选举算法。在整个集群运行过程中，只有一个Leader，其他的都是Follower，如果Zookeeper集群在运行过程中Leader出了问题，系统会采用该算法重新选出一个Leader。Zookeeper集群启动的时候，会首先选出一个Leader，在Leader election过程中，某一个满足选举算的结点就能成为Leader。Zookeeper安装在安装Zookeeper之前，需要在先安装JDK，详见安装JDK。在datanode-1，datanode-2，datanode-3机器中都需要安装Zookeeper。安装路径为/usr/hadoop。1，到/ 下载Zookeeper2，解压#tar -zxvf zookeeper-3.4.5.tar.gz3，配置Zookeeper环境变量，在/etc/profile文件中添加如下配置：export ZOOKEEPER=/usr/hadoop/zookeeper-3.4.5export PATH=$PATH:$ZOOKEEPER/bin4，执行#source /etc/profile使环境变量生效。Zookeeper配置配置zoo.cfg进入/usr/hadoop/zookeeper-3.4.5/conf,用vi编辑 zoo.cfg。一下红色部分是添加的配置。#vi zoo.cfg#dataDir=/tmp/zookeeper 改成：dataDir=/usr/hadoop/zookeeper-3.4.5/zkdata 并添加如下配置：server.1= datanode-1:2888:3888server.2= datanode-2:2888:3888server.3= datanode-3:2888:3888配置之后的zoo.cfg如下所示：# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just #