hadoop伪分布式搭建

                                 Hadoop的伪分布式搭建

一、关闭防火墙

service iptables off           --关闭防火墙

service iptables statuts        - -查看防火墙

chkconfig iptables off         --关闭防火墙自动运

chkconfig –list | grep iptables   --验证防火墙

二、设置SSH免密码登陆

所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。

" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥（公钥文件：~/.ssh/id_rsa.pub；私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ssh/authorized_keys）, 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务­器上的公钥做匹配.如果匹配成功就可以登录了。

vi etc/sysconfig/network       --设置主机名  hostname=**

ssh-keygen –t rsa                     --生成生成密钥文件

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  cp秘钥文件

三、安装JDK

JDK和HADOOP在 /usr/local/这个目录 jdk-6u24-linux-i586.bin  hadoop-1.1.2.tar.gz

       ./ jdk-6u24-linux-i586.bin            --解压JDK

    chmod u+x jdk-6u24-linux-i586.bin    –给JDK权限操作

mv jdk1.6.0_24 jdk jdk              --文件夹重新命名

vi etc//profile                       --打开文件配置如下信息

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile                   --生效

java –version                       --验证配置是否成功    

四、安装HADOOP

tar –zxvf hadoop-1.1.2.tar.gz

mv hadoop-1.1.2 hadoop

vi etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

   修改usr/local/hadoop/conf

hadoop0改为hostname的名字

  1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml    

<configuration>

     <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop0:9000</value>

     </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

     </property> 

</configuration>

3.hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

    </property>

</configuration>

 

五、启动HADOOP

hadoop namenode –format  

--格式化会出现一个警告Warning: $HADOOP_HOME is deprecated.

处理办法:

在当前用户home/.bash_profile里增加一个环境变量：

export HADOOP_HOME_WARN_SUPPRESS=1

source /.bash_profile    --生效

start-all.sh             --启动

六、测试

执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracke

在浏览器查看，http://hostname:50070  http://hostname:50030