大数据时代之hadoop(三)：hadoop数据流（生命周期），hadoop数据流
大数据时代之hadoop(三)：hadoop数据流（生命周期），hadoop数据流
大数据时代之hadoop(一)：hadoop安装
大数据时代之hadoop(二)：hadoop脚本解析
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。
术语
MapReduce 作业（job）是客户端需要执行的一个工作单元：它包括输入数据、mapreduce程序和配置信息。hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务：map任务和reduce任务。
有两类节点控制着作业执行过程：一个jobtracker及一系列tasktracker。jobtracker通过调度tasktracker上运行的任务，来协调所有运行在系统上的作业。tasktracker在运行任务的同时将运行进度报告发送给jobtracker，jobtracker由此记录每项作业任务的整体进度情况。如果其中一个任务失败，jobtracker可以在另外一个tasktracker节点上重新调度该任务。
输入
hadoop将mapreduce的输入数据划分成等长的小数据块，称为输入分片（input split）或简称分片。hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。
对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是64M，不过可以针对集群调整这个默认值。分片的大小一定要根据运行的任务来定，如果分片过小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。
hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，这就是所谓的数据本地化优化。因为块是hdfs存储数据的最小单元，每个块可以在多个节点上同时存在（备份），一个文件被分成的各个块被随机分部在多个节点上，因此如果一个map任务的输入分片跨越多个数据块，那么基本上没有一个节点能够恰好同时存在这几个连续的数据块，那么map任务就需要首先通过网络将不存在于此节点上的数据块远程复制到本节点上再运行map函数，那么这种任务显然效率非常低。
输出
map任务将其输出写入到本地磁盘，而非HDFS。这是因为map的输出是中间结果：该中间结果有reduce任务处理后才产生最终结果（保存在hdfs中）。而一旦作业完成，map的输出结果可以被删除。reduce任务并不具备数据本地化优势：单个reduce任务的输入通常来自于所有的mapper任务的输出。reduce任务的输出通常存储于HDFS中以实现可靠存储。
数据流
作业根据设置的reduce任务的个数不同，数据流也不同，但大同小异。reduce任务的数量并非由输入数据的大小决定的，而是可以通过手动配置指定的。
单个reduce任务
多个reduce任务
如果是多个reduce任务的话，则每个map任务都会对其输出进行分区（partition），即为每个reduce任务创建一个分区。分区有用户定义的分区函数控制，默认的分区器（partitioner） 通过哈希函数来分区。
map任务和reduce任务之间的数据流称为shuffle（混洗）。
没有reduce任务
当然也可能出现不需要执行reduce任务的情况，即数据可以完全的并行。
combiner（合并函数）
顺便在这说下combiner吧，hadoop运行用户针对map任务的输出指定一个合并函数，合并函数的输出作为reduce函数的输入。其实合并函数就是一个优化方案，说白了就是在map任务执行后在本机先执行合并函数（通常就是reduce函数的拷贝），减少网络传输量。 Hadoop
它是一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
Yarn
它是Hadoop2.0的升级版。
Yarn 的优点：
这个设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了，更安全、更优美。
在新的 Yarn 中，ApplicationMaster 是一个可变更的部分，用户可以对不同的编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。
对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中，没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理。
老的框架中，JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况，现在，这个部分就扔给 ApplicationMaster 做了，而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster)，它是监测 ApplicationMaster 的运行状况，如果出问题，会将其在其他机器上重启。
Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作，目前是一个框架，仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量，那就没有了之前的 map slot/reduce slot 分开造成集群资源闲置的尴尬情况。
Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
他们三个其实也可以说Hadoop发展的几个阶段，目前Spark非常火，是用Scala语言写的。
数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览器里的搜索、点击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop，可以在Hadoop集群上运行R代码。更具体的自己搜索吧。
可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。
Tableau、Impure都有可视化功能。R语言也可以绘图。
还有很多可以用来在网页上实现可视化输出的框架或者控件。
大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比较喜欢d3(Data-Driven Documents)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。
评论暂时关闭