Ganglia监控Hadoop集群的安装部署，gangliahadoop


Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。

Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。

Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者用于与Web Server进行沟通。

Ganglia Web前端：Web前端用于显示Ganglia的Metrics图表

一、安装环境

  • Ubuntu 14.04
  • master:192.168.1.10 slave1:192.168.1.20 slave2:192.168.1.30salve2:192.168.1.40slave3:192.168.1.50slave4:192.168.1.60

  • 安装gmetad的机器：master

  • 安装gmond的机 器：slave1 slave2 slave3 slave4 slave5

  • 浏览监控web页面的机器：master 

    • 二、介绍

    Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。
    • gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。
    • gme tad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。
    • ganglia- web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。
    一般来说一个集群的每台机器上都需要安装gmond，只要负责展示web界面的机器安装了gmetad即可。

  • 三、在ubuntu上安装ganglia

  • 在master虚拟机上，运行以下命令：

  • <span style="font-size:18px;">sudo apt-get install ganglia-monitor rrdtool gmetad ganglia-webfrontend</span>

  • 在安装过程中，你应该会看到类似下面的安装后与apache2服务器重启选择，直接 Yes，然后按Enter键。

  • 四、Ganglia 主节点配置

    所有的配置都在/etc/ganglia目录下，在每个节点上都要配置/etc/ganglia/gmond.conf.

  • 在命令行中输入以下命令：

  • sudo vim /etc/ganglia/gmond.conf

  • <span style="font-weight: normal;"><span style="font-weight: normal;">globals {
daemonize = yes
setuid = yes
user = hadoop /*运行Ganglia的用户，我的用户为hadoop*/
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120 
cleanup_threshold = 300 
gexec = no
send_metadata_interval = 15 /*发送数据的时间间隔*/
}


cluster {
name = "hadoop" /*集群名称*/
owner = "nobody" /*运行Ganglia的用户*/
latlong = "unspecified"
url = "unspecified"
}


udp_send_channel {
mcast_join = 239.2.11.71  /*这里不需要更改*/
port = 8649
ttl = 1
}</span>

  • 配置gmetad.conf，在命令行中输入以下命令：
    sudo vim /etc/ganglia/gmetad.conf
data_source "hadoop" master slave1 slave2 slave3 slave4 slave5

    

    五、启动&运行
    

    sudo /etc/init.d/ganglia-monitor start （每台机器都需要启动）
    

    

  • 

    sudo /etc/init.d/gmetad start（服务端的机器上启动）
  • 

    sudo /etc/init.d/apache2 restart（服务端启动）

  • 
在网上上输入 http://master/ganglia/有以下界面显示就表示成功

  • 

    
    

    • 

    







    

    

    

     
    相关内容