一步一步跟我学hadoop(1)----hadoop概述和安装配置,hadoop----hadoop


这几年云计算大数据很火,借这个东风,今天开始学习apache的分布式计算框架hadoop,希望不要太落后。

Hadoop说明

对于hadoop,apache官方wiki给出的说明为

Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework. 

大意为:

Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型,每个应用程序被切分成许多碎片化的工作段,每个段可在任何急群众的节点(重复)执行。此外,它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布式文件系统都设计成拥有节点故障时自动处理的能力。

先决条件

支持平台

  • GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。

  • Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。

所需软件

Linux和Windows所需软件包括:

Windows下的附加软件需求

Cygwin - 提供上述软件之外的shell支持。 

安装软件

如果你的集群尚未安装所需软件,你得首先安装它们。

以Ubuntu Linux为例:

$ sudo apt-get install ssh 
$ sudo apt-get install rsync 

linux上hadoop安装

hadoop生产环境是linux,这里我在虚拟机上进行软件的安装,系统为centos7-64bit

ssh设置及主机名修改

修改主机名

安装openssh-server:$ sudo apt-get install openssh-server

       3.  建立ssh无密码登录

  • 在NameNode 上实现无密码登录本机:
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
    出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
    文件):$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完成后可以实现无密码
    登录本机:$ ssh localhost。
  • 实现NameNode 无密码登录其他DataNode:把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以
    192.168.88.128 节点为例):


 jdk安装

设置path路径,首先打开vi编辑器

vi /etc/profile


在/etc/profile末尾加上(按insert按键)

export JAVA_HOME=/root/Desktop/jdk
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 

最后保存并关闭立即应用更改

source /etc/profile


安装hadoop(hadoop版本0.20.2)

core-site.xml

<configuration>
<!--- global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hexianghui/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.88.128:9000</value>
</property>
</configuration>


 

hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错,修改为与系统适应的个数)

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.88.128:9001</value>
</property>
</configuration>


 最后不要忘记修改path,将hadoop加入到path路径,在/etc/profile文件最后加入

export HADOOP_HOME=/root/Desktop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin


格式化hadoop文件系统并启动

#格式化hadoop文件系统
hadoop namenode -format
#启动hadoop
start-all.sh
#最后用jps查看启动的进程个数
jps


在Namenode节点上结果如下

12091 JobTracker
12026 SecondaryNameNode
11875 NameNode
12171 Jps


DataNode结果如下

7274 Jps
7049 DataNode
7159 TaskTracker

至此,hadoop分布式文件系统安装完毕。

由于是近期刚开始学习hadoop,东西需要消化,本系列的博客不能做到每天一篇,望见谅,完全是边学习边写的,大家可以相互交流,如有失误,希望大家可以提出意见,同时希望可以持续关注,大家共同学习交流

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关内容