Hadoop架构概述，

Hadoop架构概述，

HDFS架构概述

HDFS（Hadoop Distributed File System）的架构概述

• NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。
• DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和。
• Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

Yarn架构概述

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce，如图所示
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总

大数据技术生态体系

图中涉及的技术名词解释如下：

推荐系统框架