一步一步跟我学hadoop(1)----hadoop概述和安装配置,hadoop----hadoop
一步一步跟我学hadoop(1)----hadoop概述和安装配置,hadoop----hadoop
这几年云计算大数据很火,借这个东风,今天开始学习apache的分布式计算框架hadoop,希望不要太落后。
Hadoop说明
对于hadoop,apache官方wiki给出的说明为
Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework.
大意为:
Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型,每个应用程序被切分成许多碎片化的工作段,每个段可在任何急群众的节点(重复)执行。此外,它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布式文件系统都设计成拥有节点故障时自动处理的能力。
先决条件
支持平台
-
GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
-
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
所需软件
Linux和Windows所需软件包括:
Windows下的附加软件需求
Cygwin - 提供上述软件之外的shell支持。
安装软件
如果你的集群尚未安装所需软件,你得首先安装它们。
以Ubuntu Linux为例:
$ sudo apt-get install ssh $ sudo apt-get install rsync
linux上hadoop安装
hadoop生产环境是linux,这里我在虚拟机上进行软件的安装,系统为centos7-64bit
ssh设置及主机名修改
修改主机名
安装openssh-server:$ sudo apt-get install openssh-server
3. 建立ssh无密码登录
-
在NameNode 上实现无密码登录本机:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
文件):$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完成后可以实现无密码
登录本机:$ ssh localhost。 - 实现NameNode 无密码登录其他DataNode:把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以
192.168.88.128 节点为例):
jdk安装
设置path路径,首先打开vi编辑器
vi /etc/profile
在/etc/profile末尾加上(按insert按键)
export JAVA_HOME=/root/Desktop/jdk exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
最后保存并关闭立即应用更改
source /etc/profile
安装hadoop(hadoop版本0.20.2)
core-site.xml
<configuration> <!--- global properties --> <property> <name>hadoop.tmp.dir</name> <value>/home/hexianghui/tmp</value> <description>A base for other temporary directories.</description> </property> <!-- file system properties --> <property> <name>fs.default.name</name> <value>hdfs://192.168.88.128:9000</value> </property> </configuration>
hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错,修改为与系统适应的个数)
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>192.168.88.128:9001</value> </property> </configuration>
最后不要忘记修改path,将hadoop加入到path路径,在/etc/profile文件最后加入
export HADOOP_HOME=/root/Desktop/hadoop export PATH=$PATH:$HADOOP_HOME/bin
格式化hadoop文件系统并启动
#格式化hadoop文件系统
hadoop namenode -format
#启动hadoop
start-all.sh
#最后用jps查看启动的进程个数 jps
在Namenode节点上结果如下
12091 JobTracker 12026 SecondaryNameNode 11875 NameNode 12171 Jps
DataNode结果如下
7274 Jps 7049 DataNode 7159 TaskTracker
至此,hadoop分布式文件系统安装完毕。
由于是近期刚开始学习hadoop,东西需要消化,本系列的博客不能做到每天一篇,望见谅,完全是边学习边写的,大家可以相互交流,如有失误,希望大家可以提出意见,同时希望可以持续关注,大家共同学习交流
版权声明:本文为博主原创文章,未经博主允许不得转载。
评论暂时关闭