Oozie 与 Yarn 协同工作

Oozie 与 Yarn 协同工作

记录一下Oozie针对于Yarn的安装和配置流程。本文Oozie的版本为3.3.2，Hadoop为2.2。

主要步骤：

1、下载oozie-3.3.2.tar.gz，然后执行命令“bin/mkdistro.sh -DskipTests”进行compile：

2、将编译生成的oozie-3.3.2工程copy到$OOZIE_HOME

3、在$OOZIE_HOME目录下创建目录libext，并将Hadoop相应的jar包、ext-2.2.zip拷贝到其下

4、在$HADOOP_HOME/conf/core-site.xml里添加内容:

5、在$OOZIE_HOME/conf/oozie-site.xml里添加内容：

6、执行oozie-setup.sh：

bin/oozie-setup.sh -hadoop 2.2.0 /home/hadoop-2.2.0 -extjs/home/oozie-3.3.2/libext/ext-2.2.zip

执行成功后，会有如下提示:

7、执行“bin/oozied.sh run”启动Oozie

8、更改Oozie job的job.properties文件：

主要的更改是：将 jobtracker 地址和端口改为 'yarn.resourcemanager.address ' 项的值。

比如：

- 对于hadoop-1.x：jobTracker=JT_HOST:9001

- 对于hadoop-2.x：jobTracker=RM_HOST:18040

9、提交Oozie job

命令：

执行成功后，Oozie web console上的信息：

Yarn web console上的信息：

以上是主要步骤，当然安装配置过程中也碰到了各种问题，比如”NoClassDefFoundError“、”java.net.ConnectException“、”KerberosName$NoMatchingRule“、”Type mismatch in key from map“等。我们可以根据具体异常逐一解决即可。