hadoop的伪分布安装

文章由LinuxBoy分享于2019-03-27 03:03:15热评（483）

hadoop的伪分布安装

hadoop有3种安装模式，分别是：本地模式、伪分布模式、集群模式。

本文在这里只介绍伪分布安装模式。

温馨提示：有意向进一步学习hadoop的伙伴，欢迎加qq:1040195253交流。

1、设置IP地址

执行命令：service network restart

验证：ifconfig

2、关闭防火墙

命令: Service iptables stop

验证：service iptables status

3、关闭防火墙自动运行

命令 : chkconfig iptables off

验证：chkconfig –list | grep iptables

4、设置主机名

命令：

(1)hostname hadoop0

(2)vi /etc/sysconfig/network

5、ip与hostname绑定

命令: vi /ect/hosts

验证： ping hadoop0

5、设置ssh免密登陆

命令:

(1)ssh-keygen –t rsa

(2)cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

验证：ssh hadoop0

6、安装JDK

执行命令：

(1)cd /usr/local

(2)chmod u+x jdk-6u24-linux-i586.bin

(3)./jdk-6u24-linux-i586.bin

(4)mv jdk-1.6.0_24 jdk

(5)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile

验证: java –version

7、安装Hadoop

执行命令：

(1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile

(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml（详见9）

(6)hadoop namenode -format

(7)start-all.sh

验证:

(1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker。

(2)在浏览器查看，http://hadoop0:50070 、http://hadoop0:50030

8、启动时没有NameNode的可能原因:

(1)没有格式化；

(2)环境变量设置错误；

(3)ip与hostname绑定失败。

9、修改hadoop配置文件

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

<name>fs.default.name</name>

<value>hdfs://hadoop0:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3.hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4.mapred-site.xml

<name>mapred.job.tracker</name>

<value>hadoop0:9001</value>

</property>

</configuration>

推荐文章：

hadoop的伪分布安装