Hadoop分布式平台的大数据解决方案，hadoop
Hadoop分布式平台的大数据解决方案，hadoop
Hadoop分布式平台的大数据解决方案
讲师：迪伦
对这个课程有兴趣的可以加我qq2059055336联系我
1 课程背景
GREENPLUM适用场景
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。比如构建企业级ODS/EDW，或者数据集市等等。
GREENPLUM运行的平台
GREENPLUM运行在X86架构的硬件平台上，目前支持的操作系统包括32/64位的 LINUX(REDHAT/SUSE)/SOLARIS/MAC OS
GREENPLUM的前景
GREENPLUM 诞生于2003年硅谷，2010/07 EMC收购了GREENPLUM，并把GREENPLUM作为EMC面向分析云的战略核心产品，加以大力发展。该产品不仅在国际市场发展很快，在国内市场发展也很快。最著名的案例就是阿里巴巴集团，经过多种产品的精心选型，最终选择GREENPLUM作为它们的数据仓库平台存放数百TB的业务数据去高效支持各种分析应用。正是由于产品发展速度很快，但是在相关人才上存在很大缺口。
Hadoop的前景
随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。
Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的hadoop人才年薪可以达到30万—50万。
一般需要大数据处理的公司基本上都是大公司，所以学习hadoop技术也是进大公司的捷径！
Greenplum Hadoop大数据分析平台
大量的半结构化和非结构化信息无法管理和存储，大数据增长速度惊人，每年以几何级数速度增长，需要有专业化的解决方案应对大数据挑战。EMC收购了Greenplum之后，推出的针对Hadoop的Greenplum的数据库软件。采用Greenplum HD技术管理半结构化和非结构化信息，整体TCO更低，除了进行有效存储和管理，可以通过MapReduce技术进行并行的分析和挖掘，把大量的数据存储变成有价值的数据资产。
2课程内容简介
本系列课程主要分三部分：（总共70讲左右）
第一部分 Greenplum 分布式数据库基础（35课时）
第二部分 Hadoop分布式系统基础（30课时）
第三部分 Greenplum Hadoop大数据分析平台（4课时）
适合对象：
1、要求具有一定的Linux和Java基础
2、要求具有一定SQL语言基础
3课程大纲
第一部分 Greenplum 分布式数据库基础（35课时）
1 Greenplum架构
· 什么是Greenplum
· Greenplum体系结构
· Greenplum高可用性架构
2 安装Greenplum
· 配置环境
· 安装并初始化GPDB系统
· 启停数据库
· 配置GP系统
3 客户端接口和程序
· pgAdmin III
· PSQL
4 角色权限管理
· 客户端认证
· 管理用户和组
5 分布式数据库存储
· 数据是如何存储的
· 分布策略
6 GBDB查询处理
· 查询命令的执行
· SQL查询处理机制
· 并行查询计划
7 定义数据库对象
· 创建并管理数据库
· 创建并管理表空间
· 创建并管理模式
· 创建并管理表
· 分区表
· 数据分布与分区
· 压缩存储与行列存储
· 序列、索引与视图
8 管理数据
· 插入、更新、删除记录
· 事务管理
· 空间回收和统计
9 数据加载
· 外部表加载
· COPY加载
· GPLOAD加载
10 资源负载管理
· 创建资源队列
· 分配资源队列
11 备份恢复
· 串行备份和恢复
· 并行恢复和恢复
12 GP SQL语法
· 数据字典
· 函数
· 存储过程
13 性能调优
· 常见性能问题
· 跟踪性能问题
· 查询调优
14 扩展GP系统
· 节点的准备和添加
· 初始化新Instance
· 重分布表
15 GP MapReduce
· MapReduce基础
· GP MapReduce编程
· MapReduce作业执行和故障诊断
第二部分 Hadoop分布式系统基础（30课时）
1 什么是Hadoop
· Hadoop思想起源：Google
· Hadoop的架构
· Hadoop思想体系
2 部署Hadoop集群
· 准备和配置环境
· 三种运行模式
· 简单集群安装和配置步骤
· 大型生产集群部署
3 HDFS实战
· HDFS体系结构
· HDFS的可靠性
· HDFS文件操作
4 Map-Reduce体系架构
· Map-Reduce编程模型
· 性能调优
· Map-Reduce工作机制
· 日志分析
5 Map-Reduce API开发实战
· Eclipse插件安装
· 数据筛选程序
· 倒排索引实战
6 Hadoop组成
· Pig, Hbase, Hive, Zookeeper组件
· Sqoop, Avro, Churkwa, Cassandra组件
· Hbase体系结构
7 HBase数据库
· 单机模式安装
· 伪分布式安装
· 完全分布模式安装
· HBase数据库操作
8 Pig实战
· Pig框架
· Pig安装配置
· Pig运行操作
9 Hive实战应用
· Hive组件与体系架构
· Hive安装配置
· Hive操作
10 Sqoop应用
· 安装配置
· 数据操作示例
11 云计算
· 什么是云计算
· 云计算模式和形态
· Hadoop在云计算的运用
12 Hadoop商业应用案例剖析
· 京东商城
· 百度
· 阿里巴巴
第三部分 Greenplum Hadoop大数据分析平台（4课时）
1 Greenplum Hadoop架构
· 集成架构的特征
· 集成架构的优势
· 商业案例展示
2 Greenplum Hadoop集群部署
· 部署Hadoop集群
· 部署Zookeeper
· 部署Hbase
· 部署Hive
· 部署Pig
· 集群操作示例
2、建议再看看hadoop in action等
3、原型
评论暂时关闭