Hadoop启动jobhistoryserver

Hadoop启动jobhistoryserver

Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：

mr-jobhistory-daemon.sh start historyserver 命令还启动。

　　由于前面有过一篇通过web查看job的运行情况的文章（文章的出处：），文中介绍的是当作业在运行时，如何通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。

　　我在启动的时候出现错误：

　　mnvaild maxumum heap size :-Xmx1000

　　ERROR:could not create the java Virtual Machine  如下图所示：

　　通过查看执行的脚本mr-jobhistory-daemon.sh的内容，发现脚本文件中的内容并未涉及到maxumum heap size的问题，于是可能是脚本文件中调用的其他文件所导致的，如下图所示：

由于mapred-config.sh 脚本文件并未发现，因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件，如下图所示：

该文该中队jobhistoryserver的堆栈大小进行了设置，

HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M，因此在设置的时候不需要添加任何的单位，默认设置的值是1000，于是我将该值设置为100。再执行

mr-jobhistory-daemon.sh start historyserver

此时，执行historyserver启动成功，这时候就可以点击web页面上的job最右边的history的选项，进入作业历史运行界面，查看历史运行信息，包括：运行了多少个map，多少个reduce，多少个counters等等。

意义：设置查看历史作业信息的目的是在执行完之后可以查看运行的情况，从而了解程序的执行能在自己的预料之中进行运行。否则就可以很快的定位问题的所在。

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解