在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

Hadoop的安装和配置可以参考我之前的文章：在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境  。

本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境。

1. 软件准备

scala-2.11.7.tgz

spark-1.4.0-bin-hadoop2.6.tgz

都可以从官网下载。

2. scala安装和配置

scala-2.11.7.tgz解压缩即可。我解压缩到目录/home/vm/tools/scala，之后配置~/.bash_profile环境变量。

#scala export SCALA_HOME=/home/vm/tools/scala export PATH=$SCALA_HOME/bin:$PATH

使用source ~/.bash_profile生效。

验证scala安装是否成功：

交互式使用scala：

3. spark安装和配置

解压缩spark-1.4.0-bin-hadoop2.6.tgz到/home/vm/tools/spark目录，之后配置~/.bash_profile环境变量。

#spark export SPARK_HOME=/home/vm/tools/spark export PATH=$SPARK_HOME/bin:$PATH

修改$SPARK_HOME/conf/spark-env.sh

export SPARK_HOME=/home/vm/tools/spark export SCALA_HOME=/home/vm/tools/scala export JAVA_HOME=/home/vm/tools/jdk export SPARK_MASTER_IP=192.168.62.129 export SPARK_WORKER_MEMORY=512m

修改$SPARK_HOME/conf/spark-defaults.conf

spark.master spark://192.168.62.129:7077 spark.serializer org.apache.spark.serializer.KryoSerializer

修改$SPARK_HOME/conf/spark-defaults.conf

192.168.62.129 这是我测试机器的IP地址

启动spark

cd /home/vm/tools/spark/sbin sh start-all.sh

测试Spark是否安装成功

cd $SPARK_HOME/bin/ ./run-example SparkPi

SparkPi的执行日志：

 

  1 vm@Ubuntu:~/tools/spark/bin$ ./run-example SparkPi
  2 
  3 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
  4 
  5 15/07/29 00:02:32 INFO SparkContext: Running Spark version 1.4.0
  6 
  7 15/07/29 00:02:33 WARN NativeCodeLoader: Unable to load native-hadoop library