flume+kafka+storm安装文档.doc

Flume+Kafka+Storm安装配置 实时日志分析系统简介 日志实时分析处理时，可分为四部分，如下图2-1所示： 1）数据采集 负责从各节点上实时采集数据，选用Apache的Flume来实现 2）数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用Apache的Kafka 3）流式计算 对采集到的数据进行实时分析，选用Apache的 4）数据输出 对分析处理后的结果持久化保存，暂定数据库 安装Storm集群 下面是搭建一个Storm集群需要依次完成的安装步骤： 1、搭建Zookeeper集群 2、在主控节点和工作节点服务器上安装Storm依赖软件 3、在主控节点和工作节点服务器上安装Storm 4、修改storm.yaml配置文件 5、启动Storm各后台进程 搭建Zookeeper集群 1、Zookeeper下载地址：/dyn/closer.cgi/zookeeper/ 2、在三台服务器上分别解压缩下载文件 cd /usr/local tar -xzvf zookeeper-3.4.5.tar.gz 3、修改三台服务器的/etc/hosts文件，内容如下所示： 06 cddserver1 22 cddserver2 23 cddserver3 4、在confzoo.cfg配置文件，增加下列内容： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/zookeeper/zkdata dataLogDir=/home/zookeeper/logs clientPort=2181 server.1=cddserver1:2888:3888 server.2=cddserver2:2888:3888 server.3=cddserver3:2888:3888 conf/zoo.cfg文件中的dataDir参数指定目录下创建myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字 /home/zookeeper/zkdata/myid echo 2 /home/zookeeper/zkdata/myid echo 3 /home/zookeeper/zkdata/myid 6、在/etc/profile中增加如下内容： export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5 export PATH=$ZOOKEEPER_HOME/bin:$PATH 7、在集群中的每个节点上执行下列命令启动zookeeper zkServer.sh?start 8、在集群中的每个节点上执行下列命令查看zookeeper执行状态 zkServer.sh?status dataDir指定Zookeeper的数据文件目录 server.id=host:port:port，id是为每个Zookeeper节点的编号，保存在dataDir目录下的myid文件中，cddserver1、cddserver2、 cddserver3表示各个Zookeeper节点的hostname第一个port是用于连接leader的端口，第二个port是用于leader选举的端口。 1）安装JDK 6 JDK6下载地址 /technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html 1、下载JDK 6 chmod +x jdk-6u45-linux-x64.bin 3、执行：./jdk-6u45-linux-x64.bin（安装时注意操作系统位数） 4、配置JAVA_HOME环境变量 export JAVA_HOME=/usr/local/jdk1.6.0_45 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH 5、运行java、javac命令，测试java是否正常安装 2）安装Python 2.6.6 Python 2.6.6下载地址：/ftp/python/2.6.6/Python-2.6.6.tar.bz2 1、下载Python 2.6.6 2、编译安装Python 2.6.6 tar -jxvf Python-2.6.6.tar.bz2cd Python-2.6.6./configuremakemake install 3. 测试Python2.6.6 p