sparkSQL1.1入门之十：总结，sparksql1.1入门


      回顾一下，在前面几章中，就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。 基本概念：
  • SchemaRDD
    • Rule
    • Tree
    • LogicPlan
    • Parser
    • Analyzer
    • Optimizer
    • SparkPlan
  • 运行架构：
    • sqlContext运行架构
    • hiveContext运行架构
  • 基本操作
    • 原生RDD的操作
    • parquet文件的操作
    • json文件的操作
    • hive数据的操作
    • 和其他spark组件混合使用
  • 实用工具
    • hive/console的操作
    • CLI的配置和操作
    • ThriftServer的配置和操作
      由于时间仓促，有很多地方来不及详细，特别是第三章和第九章；另外还有一些新的特性没有介绍，比如列存储的实现过程、CODEGEN的源码分析等，将在后续的版本逐步完善。      从总体上来说，由于CLI的引入，使得sparkSQL1.1.0在易用性方面得到了极大地提高；而ThriftServer的引入，方便了开发者对基于SparkSQL的应用程序开发；hive/console的引入，极大地方面了开发者对sparkSQL源码的修改和调试；还有json数据的引入，不但扩充了sparkSQL的数据来源，同时对嵌套数据开始做了尝试。从Spark1.1.0开始，sparkSQL逐渐开始像是一个产品了，而不像spark1.0.0，感觉像是一个测试品。当然，由于sparkSQL项目的启动时间比较晚，到现在为止还不到一年，在很多方面还存在着不足：
  • SQL-92语法的支持度，sparkSQL使用了一个简单的SQL语法解析器，对于一些复杂的语法没办法解析，比如三个表进行join的时候，不能一次性join，而要通过两两join后再join一次；
  • cost model ，虽然sparkSQL的catalyst在最初设计的时候就考虑到了cost model，但在现在的版本还没有引入。我们相信，未来引入cost model之后，sparkSQL的性能将得到进一步地提升；
  • 并发性能，从impala得到的信息，sparkSQL的并发性能和impala相比，还是有不少的差距，这将是sparkSQL的一个发展方向。

        匆匆忙忙中，sparkSQL1.1入门第一版就先在这里结束吧。特别感谢一下网站或博客提供了相关的知识： www.databricks.com spark.apache.org github.com/apache/spark http://spark-summit.org/2014 徽沪一郎  OopsOutOfMemory  张包峰的博客 

十八大十年的基本总结是什

十年的基本经验：
1.基本经验可以概括为：三个“靠”和三个“永无止境”。
报告指出，我们之所以能够取得如此历史性的成就，
一是靠党的基本理论、基本纲领、基本经验的正确指引；
二是靠新中国以来特别是改革开放以来奠定的深厚基础；
三是靠全党全国各族人民的团结奋斗。
报告还指出，总结十年的奋斗里程，最重要的就是我们坚持了以马克思主义、毛泽东思想、邓小平理论、“三个代表”重要思想为指导，勇于推进实践基础上的理论创新。所以叫做：
实践发展永无止境；
认识真理永无止境；
理论创新永无止境。
2.三个自信
报告总结我们党90多年的发展经验，提出要增强道路自信、理论自信、制度自信。
 

十月份工作总结，本人做销售的，要详细的总结

主要写一下工作内容，取得的成绩，以及不足，最后提出合理化的建议或者新的努力方向。。。。。。
转载：总结，就是把一个时间段的情况进行一次全面系统的总检查、总评价、总分析、总研究，分析成绩、不足、经验等。总结是应用写作的一种，是对已经做过的工作进行理性的思考。总结与计划是相辅相成的，要以计划为依据，制定计划总是在个人总结经验的基础上进行的。
总结的基本要求
1．总结必须有情况的概述和叙述，有的比较简单，有的比较详细。这部分内容主要是对工作的主客观条件、有利和不利条件以及工作的环境和基础等进行分析。
2．成绩和缺点。这是总结的中心。总结的目的就是要肯定成绩，找出缺点。成绩有哪些，有多大，表现在哪些方面，是怎样取得的；缺点有多少，表现在哪些方面，是什么性质的，怎样产生的，都应讲清楚。
3．经验和教训。做过一件事，总会有经验和教训。为便于今后的工作，须对以往工作的经验和教训进行分析、研究、概括、集中，并上升到理论的高度来认识。 　　
今后的打算。根据今后的工作任务和要求，吸取前一时期工作的经验和教训，明确努力方向，提出改进措施等
总结的注意事项
　　1．一定要实事求是，成绩不夸大，缺点不缩小，更不能弄虚作假。这是分析、得出教训的基础。 　
　2．条理要清楚。总结是写给人看的，条理不清，人们就看不下去，即使看了也不知其所以然，这样就达不到总结的目的。
　　3．要剪裁得体，详略适宜。材料有本质的，有现象的；有重要的，有次要的，写作时要去芜存精。总结中的问题要有主次、详略之分，该详的要详，该略的要略。
总结的基本格式
　　1、标题
　　2、正文 　
　 开头：概述情况，总体评价；提纲挈领，总括全文。
　　主体：分析成绩缺憾，总结经验教训。
　　结尾：分析问题，明确方向。 　
　3、落款 　　署名，日期
 

相关内容