Ubuntu下Hadoop源代码学习环境配置

文章由LinuxBoy分享于2019-03-27 03:03:51热评（125）

Ubuntu下Hadoop源代码学习环境配置

最近在学习Hadoop源代码，前几天刚配置好源代码的学习环境，下面我将根据我的亲身经历讲解一下hadoop源代码学习环境的配置流程。

操作系统：Ubuntu 12.10；

一，JDK安装与配置

1.下载JDK文件

wget -chttp://download.oracle.com/otn-pub/java/jdk/7/jdk-7u55-linux-x64.tar.gz

(注：如果下载不下来，建议使用迅雷下载，然后拷贝到Linux系统上。)

2.解压安装

将下载的文件解压到自己设定的安装路径下，我解压到了/home/rongzi/ProgramFiles/jdk1.7

3.修改环境变量

sudo gedit /etc/profile

添加：

#set java environment

exportJAVA_HOME=/home/rongzi/ProgramFiles/jdk1.7

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

保存退出，输入以下命令使之立即生效。

4.配置默认JDK版本

由于Ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。

sudo update-alternatives --install/usr/bin/java java /home/rongzi/ProgramFiles/jdk1.7/bin/java 300

sudo update-alternatives --install/usr/bin/javac javac /home/rongzi/ProgramFiles/jdk1.7/bin/javac 300

执行代码：

sudo update-alternatives --config java

系统会列出各种JDK版本，如下所示：

There is only one alternative in link groupjava (providing /usr/bin/java): /home/rongzi/ProgramFiles/jdk1.7/bin/java

Nothing to configure.

说明系统只有之前刚安装的JDK版本。

5.测试

$ java -version

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build24.55-b03, mixed mode)

出现以上结果，说明安装jdk成功了!

二，ant的安装与配置

1.首先需要在Apache官网下载Ant，地址为：http://ant.apache.org/bindownload.cgi，然后将下载后的文件进行解压，然后将解压后的文件放到/home/rongzi/ProgramFiles/Ant路径下。

2.配置环境：

$ sudo gedit /etc/profile

打开profile文件后，在文件尾加入如下环境变量：

export ANT_HOME=/usr/apache-ant-1.8.4

exportPATH=$JAVA_HOME/bin:$PATH:$ANT_HOME/bin

然后执行命令：

$ source /etc/profile

可以通过命令：ant -version 进行检测是否配置成功。

$ ant -version

Apache Ant(TM) version 1.9.3 compiled onDecember 23 2013

三，安装eclipse

同windows环境下一样，直接解压即可使用。

四，配置 SSH

1.Hadoop采用SSH来访问各个节点的信息。在单机环境中，需要配置 SSH 来使用户 hadoop 能够访问 localhost 的信息。首先需要安装 openssh-server。

sudo apt-get install openssh-server

2.配置 SSH使得Hadoop应用能够实现无密码登录：

ssh-keygen -t rsa -P ""

cp ~/.ssh/id_rsa.pub~/.ssh/authorized_keys

3.验证ssh是否配置成功

$ ssh localhost

Welcome to Ubuntu 12.10 (GNU/Linux3.5.0-17-generic x86_64)

*Documentation: https://help.ubuntu.com/

484 packages can be updated.

222 updates are security updates.

New release '13.04' available.

Run 'do-release-upgrade' to upgrade to it.

五，配置Hadoop

Hadoop的配置文件都放在/hadoop/conf这个文件夹下面，主要是四个配置文件，分别是core-site.xml,hadoop-env.sh,hdsf-site.xml和mapred-site.xml。

修改conf/hadoop-‐env.sh，设置JAVA_HOME为你的JDK安装路径。

# The java implementation to use. Required.

export JAVA_HOME=/home/rongzi/ProgramFiles/jdk1.7

修改core-site.xml内容如下：

<?xml version="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/program/tmp-${user.name}</value>

</property>

</configuration>

修改conf/hdfs-site.xml为：

<?xml version="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<name>dfs.replication</name>

</property>

</configuration>

修改conf/mapred-site.xml为：

<?xml version="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

六，运行Hadoop

以上操作已经完成对Hadoop的配置，接下来是运行Hadoop。第一步需要进行格式化HDFS，运行脚本主要位于HADOOP_HOME/bin目录下，注意HADOOP_HOME为解压缩之后的Hadoop根目录，此处为：/home/rongzi/ProgramFiles/hadoop1.2.1，格式化HDFS命令为：

./hadoop namenode –format

启动单节点集群：

./start-all.sh

这个操作会在本机上启动Namenode,SecondaryNameNode,Datanode,JobTracker和TaskTracker共计5个JVM进程，可以通过java自带的jps命令查看。

jps

通过jps命令可以查看到进程如下：

5662 Jps

3955 TaskTracker

3651 SecondaryNameNode

3431 DataNode

3736 JobTracker

停止单节点集群：

./stop-all.sh

另外可以通过以下网址查看节点的运行情况：

http://localhost:50030/ - Hadoop 管理介面

http://localhost:50060/ - HadoopTaskTracker 状态

http://localhost:50070/ - Hadoop DFS 状态

推荐文章：

十道海量数据处理面试题与十个方法大总结

Ubuntu下Hadoop源代码学习环境配置