【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

$tar zxvf apache-flume-1.4.0-bin.tar.gz/usr/local

$bin/flume-ng agent--conf conf --conf-file conf/flume-conf.properties --name producer-Dflume.root.logger=INFO,console

的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

罗宝兄弟文章上的架构图是这样的

> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
> ./sbt assembly-package-dependency

> bin/zookeeper-server-start.shconfig/zookeeper.properties
> bin/kafka-server-start.shconfig/server.properties

配置独立的zookeeper集群需要配置server.properties文件，讲zookeeper.connect修改为独立集群的IP和端口

zookeeper.connect=nutch1:2181

> bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1--partition 1 --topic test
> bin/kafka-list-topic.sh --zookeeperlocalhost:2181

> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test

> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning

在实际开发中还是要自行开发自己的生产者与消费者；

kafka的安装也可以参考我之前写的文章：http://blog.csdn.net/weijonathan/article/details/18075967

Storm

#2个channel和2个sink的配置文件  这里我们可以设置两个sink，一个是kafka的，一个是hdfs的；
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

storm-0.9.0.1/bin/storm jar storm-start-demo-0.0.1-SNAPSHOT.jar com.storm.topology.MyTopology