Spark on Yarn部署

Spark on Yarn部署

环境：Linux, 8G 内存，60G 硬盘，Hadoop 2.2.0，Spark 1.0.0, Scala 2.10.3

1. 安装Hadoop Yarn 集群

http://blog.csdn.net/zlcd1988/article/details/36008681

这篇Blog很详细的介绍了如何部署Hadoop Yarn 集群。

2. 安装Scala

http://www.scala-sbt.org/download.html

下载 scala-2.10.3.tgz

$ tar -zxvf scala-2.10.3.tgz
$ mv scala-2.10.3 /usr/scala

3. 安装Spark

$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz
$ tar -zvxf spark-1.0.0-bin-hadoop2.tgz
$ mv spark-1.0.0-bin-hadoop2 /usr/spark

4. 配置环境变量

在~/.bash_profile 添加环境变量

export SPARK_HOME=/usr/spark
export SCALA_HOME=/usr/scala
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.0.0-hadoop2.2.0.jar
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

运行 source .bash_profile 使环境变量立即生效。

5. 编辑 $SPARK_HOME/conf/spark-env.sh 末尾添加：

export SPARK_HOME=/usr/spark
export SPARK_JAR=/usr/spark/lib/spark-assembly-1.0.0-hadoop2.2.0.jar

6. 测试Spark是否能够在Yarn上运行

$ spark-submit --master yarn-cluster \
--deploy-mode cluster \
/usr/spark/lib/spark-examples-1.0.0-hadoop2.2.0.jar \
--class org.apache.spark.examples.JavaSparkPi \
--name "PI TEST" \
--num-executors 1 \
--driver-memory 1G \
--executor-memory 1G \
--executor-cores 1