【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(2),spark亚太


把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压:


修改系统配置文件,修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中,修改完后使用source命令使配置生效。

接下来在hadoop目录下按照如下命令创建文件夹:


\接下来开始修改hadoop的配置文件,首先进入Hadoop 2.2.0配置文件区:


第一步修改配置文件hadoop-env.sh,在其中加入“JAVA_HOME”,如下所示:


指定我们安装的“JAVA_HOME”:


第二步修改配置文件yarn-env.sh,在其中加入“JAVA_HOME”,如下所示:


指定我们安装的“JAVA_HOME”:


第三步修改配置文件mapred-env.sh,在其中加入“JAVA_HOME”,如下所示:


指定我们安装的“JAVA_HOME”:





Spark课程都在讲什内容?

《18小时内掌握Spark》课程模块
第1堂课:Spark的架构设计
第2堂课:实战使用三种语言开发Spark
第3堂课:快速掌握Scala
第4堂课:Spark集群的安装和设置
第5堂课:编写Spark程序
第6堂课:SparkContext解析和数据加载以及存储
第7堂课:深入实战RDD
第8堂课:spark的原理和使用
第9堂课:Spark程序的测试
第10堂课:Spark的优化
第11堂课:Spark的其它主题介绍
 

我想学习Spark,怎着手开始?

可以读读Spark相关的书籍,不过这类书籍确实不是很多。Spark技术相对Hadoop,资料比较少。很多都是国外的资料,中文版的少。
不知道你的基础,建议还是参加课程学习,更快速。比自己摸索强。推荐Spark亚太研究院的《18小时内掌握Spark》这个课程。这是个入门级的课程
 

相关内容