【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3),spark亚太


第四步修改配置文件slaves,如下所示:


我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2,把slaves文件的内容修改为:


第五步修改配置文件core-site.xml,如下所示:


把core-site.xml文件的内容修改为:


上述是core-site.xml文件的最小化配置,core-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第六步修改配置文件hdfs-site.xml,如下所示:


把hdfs-site.xml文件的内容修改为:


上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置课参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第七步修改配置文件mapred-site.xml,如下所示:

拷贝一份mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml 


把mapred-site.xml文件的内容修改为:


上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

第七步修改配置文件yarn-site.xml,如下所示:


把yarn-site.xml的内容修改为:


上述内容是yarn-site.xml的最小化配置,yarn-site.xml文件配置的各项内容可以参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml





Spark课程都在讲什内容?

《18小时内掌握Spark》课程模块
第1堂课:Spark的架构设计
第2堂课:实战使用三种语言开发Spark
第3堂课:快速掌握Scala
第4堂课:Spark集群的安装和设置
第5堂课:编写Spark程序
第6堂课:SparkContext解析和数据加载以及存储
第7堂课:深入实战RDD
第8堂课:spark的原理和使用
第9堂课:Spark程序的测试
第10堂课:Spark的优化
第11堂课:Spark的其它主题介绍
 

我想学习Spark,怎着手开始?

可以读读Spark相关的书籍,不过这类书籍确实不是很多。Spark技术相对Hadoop,资料比较少。很多都是国外的资料,中文版的少。
不知道你的基础,建议还是参加课程学习,更快速。比自己摸索强。推荐Spark亚太研究院的《18小时内掌握Spark》这个课程。这是个入门级的课程
 

相关内容

    暂无相关文章