大数据和云计算技术周报（第9期），周报第9期

文章由LinuxBoy分享于2019-03-27 11:03:35热评（358）

大数据和云计算技术周报（第9期），周报第9期

写在第9期周报

坚持是一种品格！社区祝大家新年快乐！

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

本期会给大家奉献上精彩的：数据库创新趋势、Redis应用场景、大数据在推荐系统、物联网架构、存储基础和kafka内核原理。全是干货，希望大家喜欢。

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1数据库创新趋势

Gartner今年的多分报告中认为数据库未来需要在几个方面进行创新：

· 分布式架构

· Multimodel多模数据管理

· 数据安全

· 混合访问HTAP

· 云架构整合

特别是Multimodel多模数据管理，是近年来数据库发展的重要新要求。

http://dwz.cn/7aIDZq

2Redis应用场景

介绍下Redis在游戏开发中的几个典型应用场景哈：用户数据缓存、持久化功能的消息队列、乐观锁功能。

http://dwz.cn/7aIEfk

3大数据在推荐系统

推荐系统，它是根据用户的信息需求、兴趣等，将用户感兴趣的信息、产品等推荐给用户的个性化信息推荐系统。现已广泛应用于很多领域，其中最典型并具有良好的发展和应用前景的领域就是电子商务领域。本文介绍了京东个性化推荐系统的演进，从推荐产品、推荐系统架构、数据平台数据、一些关键的推荐算法等方面对整个推荐系统进行描述。

http://dwz.cn/7aIEtY

4物联网架构

本文参照物联网技术的自然，组成结构，以及信息产业格局和物联网商业视角的分层架构重点介绍了物联网技术的系统架构，包括物联网技术的六层结构（元素层、器件层、终端和节点层、资源汇聚层、平台服务层、应用层）以及物联网的两个域（边缘域和云端域）。可以让读者从下到上系统的了解物联网技术的结构。

http://dwz.cn/7aIEHQ

5存储基础

1）Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。本文将为您介绍Kudu的一些基本概念和架构以及在企业中的应用，使您对Kudu有一个较为全面的了解。

http://dwz.cn/7aIF25

2）了解HBase的童鞋都知道，HBase是一种Log-Structured Merge Tree架构模式，随着数据写入不断增多， HFile数据文件就会越来越多。然而，太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合并过程称为Compaction。本文重点从减少IO的层面对Compaction进行了介绍，希望能让读者对Compaction的工作原理有一个深入了解。

http://www.aboutyun.com/forum.php?mod=viewthread&tid=21324&extra=page%3D1

6kafka内核原理

kafka日志存储的设计为框架的核心和基础，基于它才能实现对海量数据的支持和集群的均衡分配

http://dwz.cn/7aIFHQ

007开心一刻

资深技术专家画像

致谢：

薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、魏宏斌

大数据和云计算技术周报（第9期），周报第9期