大数据和云计算技术周报（第5期），周报第5期

文章由LinuxBoy分享于2019-03-27 11:03:27热评（11）

大数据和云计算技术周报（第5期），周报第5期

写在第5期周报

Q1：老生常谈，上一期周报反响如何？

A1：上周推出了第3期以及第4期NoSQL特辑，热度持续高涨，同学们打赏不断。并请到社区书法家张总给社区题字，社区成功晋级“四有社区”：有分享、有文化、有美女、有红包。

同学们，请继续打赏，支持社区，支持编辑们持续奉献高质量知识！

Q2: 本期有啥干货？

A2: 本期会给大家奉献上精彩的：国家大数据战略、AI最新新闻、大数据在交通行业的应用、流行的微服务框架以及GPU在数据库中的应用。全是干货，希望大家喜欢。

Q3：编辑部还要人不？

A3：社区长期招募志愿运营和编辑人员，有兴趣参加的同学联系群主（参与社区工作，收获知识和进步，还有红包哦）。

Q4:文末有惊喜?

A4:嗯！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1国家制定大数据战略

习近平：实施国家大数据战略加快建设数字中国（六个要点）：1、推动大数据技术产业创新发展；2、构建以数据为关键要素的数字经济；3、运用大数据提升国家治理现代化水平；4、运用大数据促进保障和改善民生；5、切实保障国家数据安全；6、善于获取数据、分析数据、运用数据，是领导干部做好工作的基本功。(附，本次政治局集体学习讲解人：北京理工大学副校长、中国科学院院士、发展中国家科学院院士——梅宏简历)。

http://dwz.cn/76fhCY

http://dwz.cn/76fhZV

2AI未来看中国!

Google Cloud 人工智能和机器学习团队的首席科学家李飞飞宣布，谷歌 AI 中国中心在北京成立。该中心由李飞飞和 Google Cloud 研发负责人李佳博士共同领导。李飞飞将会负责中心的研究工作，也会统筹 Google Cloud AI, Google Brain 以及中国本土团队的工作。

AI未来看中国！

http://dwz.cn/76fiTY

2Hadoop基础概念

1）Hive作为面向海量数据分析的数据仓库，一直深受各大公司的喜爱。Hive存储实际上是数据的映射，查询分析的数据实际位置在HDFS中，虽然Hadoop高效的扩展性能够为Hive提供的PB级的来源，但是不合理的查询语言往往制约的查询速度，这篇博客提供了参考。

http://dwz.cn/76fj25

2）随着Spark的成熟与稳定，将Hive的执行引擎替换成Spark，性能得到了快速的提升，该博客提供了详细的编译与配置的方法，

http://dwz.cn/76fjFd

3）今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布，这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了！这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本，有很多重大的改进，比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。

http://dwz.cn/76fjWX

4）ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是一个为分布式应用提供一致性服务的软件。该文章对zookeeper的原理和使用进行说明和整理，对复习zookeeper知识点和前面理解zookeeper很有帮助。

http://dwz.cn/76fk3R

4大数据应用在交通行业

当前信息化技术的快速发展较好地推动了行业应用，但很多好的技术在行业的应用落地又非常困难，存在这样那样的现实问题。
http://dwz.cn/76fk87

5微服务框架

在微服务流行的今天，我们会从纵向和横向分解代码的逻辑，将一些独立的无状态的代码单元实现为微服务，可以将它们发布到一些分布式计算单元或者Docker中，并在性能需要的时候及时地创建更多的服务单元。

微服务是一个概念，并没有规定服务的格式，但是很多厂商和框架都不约而同的采用RESTful的架构,尽管也有一些其它的性能很好的RPC框架。

如何在Java生态圈选择一个轻量级的RESTful框架？可以参考一些其他人的经验，比如我翻译的: 最好的8个 Java RESTful 框架。

http://dwz.cn/76fknt

6新硬件，新思路

PG-Strom是为PostgreSQLv9.5或更高版本数据库设计的一个扩展模块。它被设计成利用GPU处理单元的并行计算能力，对海量数据执行查询及处理。它的基本理念是CPU和GPU利用自身优势专注于工作量，并同时执行。 CPU有很多的灵活性，因此，它的优势是操作复杂的东西，如Disk I / O，另一方面，GPU在并行数值计算方面有优势，因此，它擅长做大规模但简单的事情，比如多表JOIN。

http://dwz.cn/76flqQ

007文末彩蛋，开心一刻

搬砖去：）

致谢：

刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、魏宏斌

大数据和云计算技术周报（第5期），周报第5期