storm0.9.1 集群环境安装配置

storm0.9.1 集群环境安装配置

 

Storm安装配置

三台机器  131,132,133

需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq

安装jdk和python不详细说。

 

1  安装 autoconf-2.64,

   1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 

      上传到lunix上的工作目录 比如  /home/bigdata/

     解压  tar -xvf   autoconf-2.64.tar.bz2

     进入目录  cd   autoconf-2.64

     执行   $ ./configure

            $ make

            $ make install

2  安装zeromq

   2.1  下载 http://download.zeromq.org/zeromq-3.2.2.tar.gz

      上传到 /home/bigdata/

       解压  tar zxf zeromq-3.2.2.tar.gz 

      进入目录  zeromq-3.2.2

      执行  $ ./configure

            $ make

            $ make install

 3  安装jzmq 

   3.1 因为这个是git项目，可以通过安装git下载，我是在window上git下载的

     git clone git://github.com/nathanmarz/jzmq.git

     下载下来  有个  jzmq的文件夹

上传前把 jzmq/autogen.sh 的文件格式由doc 改成 lunix

 上传到   /home/bigdata/

赋权限   chmod -R 755 jzmq

Cd /home/bigdata/jzmq/

$   ./autogen.sh

$   ./configure

$ touch src/classdist_noinst.stamp

$ cd src/org/zeromq/

$ javac *.java

$ cd /home/bigdata/jzmq

$ make

$ make install

$echo /usr/local/lib > /etc/ld.so.conf.d/local.conf

$ldconfig          

$echo CLASSPATH=/usr/local/share/java/zmq.jar:. >> /etc/environment     

$echo export LD_LIBRARY_PATH=/usr/local/lib > /etc/profile.d/ldlibrarypath.sh

 

 

4  安装zookeeper集群

   网上搜索

5 安装storm集群

  5.1 下载 http://storm.incubator.apache.org/downloads.html

  下载 apache-storm-0.9.1-incubating

  上传到  /home/bigdata/

 5.2 解压  tar -xvf  apache-storm-0.9.1-incubating.tar.gz

    改名  mv apache-storm-0.9.1-incubating   storm

进入目录 cd  /home/bigdata/storm/conf/

Vi   storm.yaml   我的配置是

########### These MUST be filled in for a storm configuration

 storm.zookeeper.servers:

     - "192.168.119.131"

     - "192.168.119.132"

     - "192.168.119.133"

# 

 nimbus.host: hadoop2

 storm.local.dir: /home/bigdata/storm/workdir 

 ui.port : 8088

 supervisor.slots.ports:  

    - 6700  

    - 6701  

    - 6702  

    - 6703 

  5.3 配置环境变量 (三台机器分别配置) 

       vi  /etc/profile

       export  STORM_HOME=/home/bigdata/storm

       PATH= $STORM_HOME/bin

       source  /etc/profile

5.4 复制到远程机

    scp -r  storm  root@192.168.119.132:/home/bigdata/

    scp -r  storm  root@192.168.119.133:/home/bigdata/

5.5 启动storm

    先启动zookeeper集群  

  在主机 131执行     storm nimbus

  新开启 srt  执行  jps

   6008 Jps

   4233 QuorumPeerMain

   5496 core

   5289 nimbus

 

 

 

 

  然后在132和 133机

   分别在 storm supervisor

5455 supervisor

   5912 Jps

   4244 QuorumPeerMain

 

在主机131  执行   storm ui

http://192.168.119.131:8088

 

 参考网络一些文章：

http://blog.csdn.net/willfcareer/article/details/8610122

http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html

http://blog.csdn.net/comaple/article/details/7896167

http://my.oschina.net/BreathL/blog/84165