hadoop伪分布模式搭建（下），hadoop分布模式搭建


搭建伪分布式是在一台机器上模拟分布式部署，方便学习和调试。

1.解压hadoop文件

下载好的hadoop ，我们可以通过使用WinSCP 把压缩包软件把它 从宿主机复制移动到linux 的/usr/local 目录下。



解压缩文件，并重命名为hadoop，方便使用。重命名后这时，hadoop 目录的完整路径是“/usr/local/hadoop”



设置环境变量HADOOP_HOME，修改文件“/etc/profile”


修改环境变量后，执行source 命令，使配置立即生效。这里设置了一个别名cdha，可以快速转到hadoop 的目录。


hadoop 的目录结构：


着重关注bin目录和conf目录


2.修改配置文件

hadoop 配置文件默认是本地模式， 我们修改四个配置文件， 这些文件都位于$HADOOP_HOME/conf 目录下。
第一个是hadoop 环境变量脚本文件hadoop-env.sh。修改第9 行代码为

export  JAVA_HOME=/usr/local/jdk


保存并关闭。这里设置的是JAVA_HOME，注意去掉前面的“#”。


依次修改core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在hdfs角度上的，core-site.xml和mapred-site.xml是站在mapreduce角度上的。


core-site.xml:

<configuration>
  <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>hdfs的访问路径</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
	<description>hadoop 运行临时文件的目录</description>
    </property>  
</configuration>


hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <description>存储副本数</description>
</configuration>


mapre-site.xml:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>jobtracker 的访问路径</description>
    </property>
</configuration>

3.运行hadoop

第一次使用hadoop 之前需要进行格式化。执行命令

$HADOOP_HOME/bin/hadoop namenode –format

注：hadoop格式化一次就好了，无需每次使用都要进行格式化操作。如果真的有必要再次格式化，先把“$HADOOP_HOME/tmp”目录下的文件全部删除。

启动hadoop 的命令为start-all.sh           启动后用jps检查进程是否启动成功，出现如下图所示一个进程都不少说明启动成功。


关闭hadoop 的命令为：stop-all.sh

hadoop 伪分布模式搭建完毕！

相关内容