大数据学习笔记1--hadoop简介和入门,学习笔记1--hadoop


Hadoop简介:

  • 分布式、可扩展、可靠的、分布式计算框架。

组件:

  • common:公共组件

  • hdfs:分布式文件系统

  • yarn:运行环境

  • mapreduce:mr计算模型

生态系统:

  • Ambari:操作界面

  • avro:通用的序列化机制、与语言无关

  • cassandra:数据库

  • chukwa:数据收集系统

  • hbase:分布式大表数据库

  • hive:基于sql的分析系统

  • matout:机器学习算法库

  • pig:脚本语言

  • spark:快速通用的计算引擎,主要用于迭代计算

  • tez:数据流框架

  • zookeeper:高性能的协调服务

海量数据分析:

  • 原始方式?空间限制|性能限制|单节点故障| 细节实现问题
  • hdfs?提供统一接口|大文件切分|分布式存储|平行扩展|高可靠

HDFS

  • hadoop生态系统分布式文件系统,用来解决大数据存储问题。

  • hdfs是在本地文件系统之上抽象出的文件系统,提供统一的访问接口(目录树),实际的文件经过切分和负载均衡算法之后,存储在本地的文件系统中,通过一个主节点(Namenode)统一管理。

  • 为了提高数据存储的可靠性,文件的block会被存储多个副本(默认3个)第一个在本机,第二个在本机所在地同一个机架上,第三个在不同的机架上。

  • 文件系统:提供一套统一的访问接口,屏蔽底层实现细节的系统。

hadoop目录结构:

  • bin:可执行脚本

  • etc:系统配置

  • lib:本地库

  • sbin:系统的可执行脚本

  • share:共享目录,存放的jar包

hdfs文件操作:

  • 使用hdfs dfs命令操作
  • put:上传文件
  • get:下载文件
  • ls:显示文件
  • cat:显示文件内容
  • tail:查看文件末尾
  • count:统计文件数
  • cp:hdfs的拷贝
  • df:查看磁盘容量
  • du:查看文件大小
  • mkdir:创建文件夹 -p创建父文件夹
  • rm:删除
  • mv:移动
  • createSnapshot:创建快照
  • chown:修改所有者
  • chomd:修改权限

hdfs文件存储

  • 文件存储在tmp/data/子文件夹下面,大文件会被切分为128M大小的block,文件只是被简单的切分,不做任何操作,可以手动拼接为完整的文件。

相关内容