spark集群安装


这里是结合hadoop2.0使用的


1，download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载，hadoop安装就不介绍了，spark节点可以不是hadoop节点，可以是一个hadoop客户端。


2，download scala，http://www.scala-lang.org/download/all.html根据下载的spark的README中的描述下载合适的版本


3，安装 其实就是解压，配置 /etc/profile环境变量

export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3

export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin


配置spark的conf下的spark-env.sh

export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3

export SPARK_MASTER_IP=192.168.0.1

 
export SPARK_MASTER_WEBUI_PORT=8080  
export SPARK_WORKER_WEBUI_PORT=8000


export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop

配置slaves(ip根据需要修改)

192.168.0.2

192.168.0.3


分发spark目录和scala目录到几台服务器相同路径下



4,启动

 进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程


5， 运行程序，运行例子进入spark目录下

分布式运行

./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077

本地运行

./run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local








相关内容