基于CentOS的hadoop2.4.0 伪分布安装配置，centoshadoop2.4.0

基于CentOS的hadoop2.4.0 伪分布安装配置，centoshadoop2.4.0

今天总算是把hadoop2.4的整个开发环境弄好了，包含 windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~

先上一张成功的图片，hadoop的伪分布式安装配置，只要按照步骤来，有点基础的 基本没什么问题的。。eclipse的配置 弄了很长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。

今天来说说hadoop2.4的安装和配置吧~

1、环境的准备：

系统：CentOS

JDK版本：jdk7

系统需要包含ssh服务的。

CentOS配置：/etc/profile 最后面添加如下：（此配置文件接的是上次编译hadoop2.4源码的配置文件：http://blog.csdn.net/enson16855/article/details/35568049）

export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH"

export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH"

export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH"

export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/

注意：这边要求下载好hadoop-2.4.0，并且解压到指定的目录（本人的：/home/hadoop/soft/hadoop）~

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

2、配置hadoop

hadoop-env.sh：

export JAVA_HOME=/usr/java/jdk1.7.0_60
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

core-site.xml ：

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.0.167:9000</value>
        </property>

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
        </property>
</configuration>

hdfs-site.xml ：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
        </property>
</configuration>

mapred-site.xml,这里2.4.0中没有这个文件，可以新建一个，或者直接修改mapred-site.xml.template

<configuration>
        <property>
                <name>mapreduce.jobtracker.address </name>
                <value>192.168.0.167:9001</value>
        </property>
</configuration>

yarn-site.xml：

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

3，ssh免密码登陆设置

命令：（此处要切换root用户，不要傻逼嘻嘻的一直使用个人用户）

ssh-keygen -t rsa -P ""

直接回车即可

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

试一下ssh localhost要是能免密码登陆显示系统信息，就应该是对的。（这里有个输入密码环节，是系统的密码）

4、格式化hdfs：

命令：

./bin/hadoop namenode -format 

出现上面这个图片那样的 说明格式化成功。。。。

5、启动hadoop

命令：

./sbin/start-all.sh

新版本的hadoop其实不建议这么直接start-all，建议一步步来，需要start-dfs.sh等等一系列的操作，反正我们只是做试验一样，我就没这么去讲究了。。

关闭的命令：

./sbin/stop-all.sh

启动成功如下：

基本启动的进程如下：

SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode

浏览器访问：http://localhost:50070 

http://localhost:8088 hadoop进程管理页面

这样就算是整体成功了。。

伪分布式集群指的是在一台机群上搭建Hadoop集群，你有三台机器的话就直接搭建全分布是集群就可以了。
你说你在CentOs单机安装好hadoop是什么意思，指的是单机模式吗？那集群就把你现在安装好的hadoop目录copy到另外两台机器上，然后配置好SSH免密码登陆，以及确定哪台机器作为namenode和jobtracker，配置好core-site.xml，hdfs-site.xml，mapred-site.xml以及master和slaver文件即可。
具体步骤还请参考网上文章
 

如果是代码访问的话不需要配置什么，只要把fs.default.name属性配置好就行。如果你是指Eclipse集成mapreduce插件，那么最主要问题就是Eclispe版本，所以要么网上直接找一个版本，要不就自己多试试