ganglia安装和监控hadop.doc

1 Ganglia 基本知识简介 1 2 Ganglia 搭建 2 1机器环境和安装ganglia服务 2 2安装前的说明： 3 3安装过程如下： 3 4 安装中遇到的问题： 8 5 ganglia常用命令： 8 3 ganglia 监控hadoop集群： 9 1 Ganglia 基本知识简介 1) UC Berkeley发起的一个开源实时监视项目， 官网地址：/ 2) 更加精确的收集数据，跟踪数据，能够看到云计算平台的方方面面 (cpu 、mem、硬盘利用率， I/O负载、网络流量情况等) 能根据这些数据，做出性能调整、升级、扩容等的决策。 3) 通过分层设计让一台机器收集到下属所有客户机数据，这样能够管理数以千计的节点 4) Ganglia的核心包含gmond、gmetad以及一个Web前端, 这三部分职责介绍如下： gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。 gme tad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。 ganglia- web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。 三者关系图： 5) Gnaglia监控集群可以使用单播和组播方式，这两种模式介绍如下： 单播：可以跨网段传播，只将信息发送给指定的机器。要配置成为单播你应该指定一个（或者多个）接受的主机。 组播：在机器所处的网段中发送广播，发送给位于同一网段的所有机器。如果你正在使用组播传输，那么你没必要改变任何东西，因为这是Ganglia包安装默认的。唯一要做的就是把gmetad指向一个或几个运行着gmo nd的主机。没有必要列出每一个单个主机，因为gmo nd被设置为接受模式时会包含所有主机的列表以及整个集群的统计信息。 下面 ganglia搭建使用的是单播方式。 2 Ganglia 搭建 1机器环境和安装ganglia服务 机器 别名 安装服务 13 hadoop3 gmetad, gmond 12 hadoop2 gmond 11 hadoop1 gmond 2安装前的说明： 安装ganglia 需要在线下载依赖环境，因此需要安装机器能上网。 这里使用 ganglia3.6.0 版本， 目前官网必威体育精装版版本为3.7 其中安装步骤中， 3.1)-3.4) 需要在 三台机器上都要安装， 3.5） 仅需要在服务端 hadoop3机器上安装 3.6) 需要在三台机器上安装 建议使用root用户安装。 机器为centos6.4系统 3安装过程如下： 3.0) 一些说明： 创建/opt/ganglia文件夹，后续的命令都在此文件夹目录下执行，都执行完后结果如下： [root@hadoop3 ganglia]# pwd /opt/ganglia [root@hadoop3 ganglia]# ll total 3696 drwxr-xr-x. 9 1000 users 4096 Jun 30 05:57 confuse-2.7 -rw-r--r--. 1 root root 517272 Feb 21 2010 confuse-2.7.tar.gz drwxrwxr-x. 14 1000 1000 4096 Jun 30 05:56 expat-2.1.0 -rw-r--r--. 1 root root 562616 Mar 24 2012 expat-2.1.0.tar.gz drwxr-xr-x. 18 root root 4096 Jun 30 06:04 ganglia-3.6.0 -rw-r--r--. 1 root root 1248273 May 15 2013 ganglia-3.6.0.tar.gz drwxr-xr-x 18 1000 1000 4096 Jun 30 06:29 ganglia-web-3.5.10 -rw-r--r-- 1 root root 1431977 Jul 9 2013 ganglia-web-3.5.10.tar.gz 3.1) 安装依赖环境： #yum install -y gcc gcc-c++ libpng freetype zlib libdbi apr* libxml2-devel pkg-config glib pixman?pango pango-devel freetye-devel fontconfig cairo cairo-devel libart_