Spark基础概况，spark概况

Spark基础概况，spark概况

            最近本人对各种分布式计算平台研究的比较火热，上周的时间简单了了解了Storm的用法，今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台，Spark，跟Hadoop属于同类型的。Spark和Storm一样，作为最近才刚刚开源出来的一个项目，学习的资料相当少，大家都还在学习阶段，所以，我目前的学习的情况也只是限于比较粗糙的学习。

             Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算，(Spark也是以此出名的)，多迭代批量处理，即席查询，流处理，和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性。

            学习Spark的第一步当然是安装Spark，在安装Spark的之前，必须从github上获取一个Spark的源码版本。Spark提供了基本源码包，和已经编译好的压缩包，如果笔友想要更深入的学习Spark，推荐自己下载源码进行编译。Spark将HDFS作为数据存储的介质，所以说，Spark为了和HDFS有交互，在编译源代码的时候，2者的代码版本需要一致。接下来就是部署Spark，部署Spark由很多方式:

(1).借助EC2上运行Spark，可能需要Amazon的账号

(2).用Chef部署Spark

(3).在Mesos上部署Spark

(4).用Yarn上部署Spark

(5).通过SSH部署Spark

在这些平台上的部署过程大同小异，具体细节就不说了，实话说，我也没有配置过。

        这里隆重介绍一个“Spark shell”的东西，他是一个特别适合快速开发Spark原型程序的工具，同样可以帮助我们熟悉Scala语言。Spark shell的用法很简单，比如可以用来加载一个文件，将指定的文件中的每行作为输入的内容，每行的内容将会作为一个RDD（

Resilient  Distributed Datasets分布式数据集）的一个数据单元加载Spark，（RDD在后面会频繁出现）。加载入Spark后，就可以进行一些Scala语句的处理了。下面是示例的加载文件的Scala代码:

scala> import spark.SparkFiles;
scala> val file = sc.addFile("spam.data");
scala> val inFile = sc.textFile(SparkFiles.get("spam.data"));

          Spark shell虽然说比较好用，但是在代码持久化方面有所局限，而且还不支持java语言，所以需要一些别的方法来构建Spark作业。有下面的一些工具方法可以构建一个Spark应用:

(1).sbt(simple build tool),一个流行的Scala构建工具

(2).用Maven构建Spark作业

(3).用其他工具构建Spark作业

      要想好好的利用Spark，光光构建一个spark应用还不够，还要能够提交你的作业，实时的与Spark进行系统交互。这需要我们起创建一个SparkContext实例，SparkContext的作用就是能够和Spark交互，并提交作业。用了SparkContext,就可以java语言的格式或是还是用Scala的方式。java和Scala共享了一些API，比如addJar(path)，用于提交作业用的。提交的jar为将要运行的作业所依赖的包，这个和Hadoop是一样的。后面还有许多Spark比较稍稍深入的内容，下次再更新。

值得是该建筑用的什么基础啊，比如说独立基础，条形基础，筏板基础等等
 

　　国 名 印度尼西亚共和国(THE REPUBLIC OF INDONESIA)

　　面 积 1,904,443平方公里

　　（资料来源：2002年经济学家信息部国别报告）

　　人 口 2.15亿（2004年印尼国家统计局数据），世界第四人口大国。有100多个民族，其中爪哇族45％，巽他族14％，马都拉族7.5％，马来族7.5％，其他26％。民族语言200多种，官方语言为印尼语。约87％的人口信奉伊斯兰教，是世界上穆斯林人口最多的国家。6.1％的人口信奉基督教新教，3.6％信奉天主教，其余信奉印度教、佛教和原始拜物教等。

　　首 都 雅加达（JAKARTA），人口838.5万（2000年人口普查数据）。

　　国家元首 总统苏希洛·班邦·尤多约诺（Susilo Bambang Yudhoyono），2004年10月20日就任。

　　重要节日 伊斯兰教开斋节、宰牲节； 5 月 20 日民族觉醒日（纪念 1908 年印尼民族运动组织"至善社"成立）； 8 月 17 日独立日。

　　简 况 位于亚洲东南部，地跨赤道。与巴布亚新几内亚、东帝汶、马来西亚接壤；与泰国、新加坡、菲律宾、澳大利亚等国隔海相望。是世界上最大的群岛国家，由太平洋和印度洋之间 17,508个大小岛屿组成，其中约6000个有人居住。海岸线长 54,716 公里，领海宽度 12 海里，专属经济区200海里（世界银行数据）。热带雨林气候，年均气温 25 － 27 ℃。

　　公元 3 至 7 世纪建立了一些分散的王朝。13世纪末 14 世纪初爪哇出现强大的麻喏巴歇（满者伯夷）封建帝国。15世纪先后遭葡萄牙、西班牙和英国入侵， 1602 年荷兰在印尼成立具有政府职能的"东印度公司"，开始长达 300 多年的殖民统治。1942年日本入侵，1945 年日本投降后爆发争取民族独立的8月革命，于8月17日宣告独立，成立印度尼西亚共和国。

　　1945年至1950年，先后武装抵抗英国、荷兰的入侵，其间曾被迫改为印度尼西亚联邦共和国并加入荷印联邦。1950年8月重新恢复为印度尼西亚共和国，1954年8月脱离荷印联邦。

　　政 治 1997 年爆发的亚洲金融危机对印尼造成全面冲击，政权更迭频繁，局势动荡不稳。1998年5月，执政长达三十二年的苏哈托总统辞职，副总统哈比比接任总统。1999年10月，印尼人民协商会议（简称人协）选举瓦希德为总统，梅加瓦蒂为副总统。2001年7月23日，人协特别会议以渎职罪罢免瓦希德总统职务，梅加瓦蒂接任总统，哈姆扎·哈兹任副总统。2004年7月印尼举行历史上首次总统直选，前政治安全统筹部长苏希洛和人民福利统筹部长尤素夫·卡拉通过两轮直选当选总统和副总统，10月20日宣誓就职，任期至2009年。

　　苏希洛政府把国家安全、经济建设以及反腐倡廉确立为施政重点，致力于解决地方分离主义问题，加强国际反恐合作；实行更为开放的经济政策，大力吸引外资刺激经济复苏；对政府官员财产收入加强监督，努力创建廉洁政府。

　　2004年5月，印尼政府结束在亚齐为期一年的军事紧急状态，转为实施民事紧急状态，继续追剿亚齐独立运动武装组织（亚独）残部。2005年初，印尼政府与亚独恢复和谈；5月，印尼政府宣布解除亚齐民事紧急状态。

　　2004年9月9日，澳大利亚驻印尼使馆门前发生恐怖爆炸事件，造成9人死亡，百余人受伤，是继2002年10月巴厘岛爆炸事件和2003年8月雅加达万豪酒店爆炸事件之后又一起重大恐怖......余下全文>>