Spark 1.0 开发环境构建:maven/sbt/idea


因为我原来对maven和sbt都不熟悉,因此使用两种方法都编译了一下。下面记录一下编译时候遇到的问题。然后介绍一下如果使用IntelliJ IDEA 13.1构建开发环境。

首先准备java环境和scala环境:

1. jdk 1.7

2. scala 2.11.1

1. maven

首先安装maven,我安装的是3.2.3, 可以直接下载binary。解压即可用。需要设置一下环境变量: 

export MAVEN_HOME=/project/spark_maven/spark/apache-maven-3.2.3
export MAVEN_OPTS="-Xmx4096m -XX:MaxPermSize=4096m"
export PATH=$PATH:$MAVEN_HOME/bin


由于我的笔记本有16G内存,因此可以给maven比较大的内存。如果MAVEN_OPTS设置的不合理,那么会导致OOM的错误,具体信息可以看这里。 

使用以下命令编译: 

mvn -X -Pyarn -PHadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

这里使用的是Apache Hadoop 2.2,如果使用比如其他的商业发行版,可以参照官网的信息去编译。

--------------------------------------分割线 --------------------------------------

Spark1.0.0部署指南

CentOS 6.2(64位)下安装Spark0.8.0详细记录

Spark简介及其在Ubuntu下的安装使用

安装Spark集群(在CentOS上)

Hadoop vs Spark性能对比

Spark安装与学习

Spark 并行计算模型

--------------------------------------分割线 --------------------------------------

等待一段时间,如果没有error的话,恭喜你编译成功。下面是编译成功的结果:



2. sbt

sbt编译过程比较慢。如果运行sbt说sbt-launch.jar的错误,那么需要手动的安装以下,可以看这里。

实际上使用以下命令既可以开始编译了:

./sbt/sbt assembly 

有时候由于网络问题可能导致编译hang在某个地方,或者你重启了,那么下次开始变异前需要删除$HOME/.ivy2/

.sbt.ivy.lock

。然后重启开始。sbt会进行增量编译。

  • 1
  • 2
  • 下一页

相关内容