hadoop 2.6.0 安装过程，hadoop2.6.0


最近才开始接触hadoop，最先要做的当然是安装hadoop 了，在安装hadoop之前需要作以下的一些准备
一个linux 环境，我使用vmware的虚拟机环境安装了centos 这个请自己百度一下吧，确实是太大了 jdk 1.6 以上的linux安装包 hadoop 2.6.0的安装包 注意，我使用的64位的linux，所以用的Java是64位的安装包 http://pan.baidu.com/s/1kT3PYLL

hadoop 集群支持三种模式    1.单机模式    2.伪分布是模式    3.完全分布式 由于是学习使用，所以我安装第二种模式。
假设有一个已经安装好的linux环境，那么hadoop安装过程如下：
1. 安装Java 将上述java的安装包放到linux /usr/java目录下，赋给程序执行的权限 chmod +X jdk-6u45-linux-x64-rpm.bin 然后执行./jdk-6u45-linux-x64-rpm.bin 安装Java即可， 安装完成后还需要配置环境变量 vi ~/.bash_profile 加入下面这一段 export JAVA_HOME=/usr/java/jdk1.6.0_45 2.免密码ssh设置 命令如下 ssh-keygen -t rsa 然后一直enter，最后秘钥会保存在~/.ssh中，然后进入.ssh目录 执行如下命令 cp id_rsa.pub authorized_keys 最后使用ssh localhost 验证是否成功，如果不输入密码那就说明成功
3.解压hadoop 我提前将hadoop安装包放到了/tmp 目录下，然后进行解压 tar -zxvf  hadoop-2.6.0.tar.gz -C /hadoop
4.编辑 etc/hadoop/hadoop-env.sh,设置如下 
export JAVA_HOME=/usr/java/lates
5.修改相关的配置文件

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
5.验证是否安装成功
  1. 格式化文件系统      $ bin/hdfs namenode -format
  2. 启动dataNode和nameNode $ sbin/start-dfs.sh
  3. 使用浏览器管理namenode   http://localhost:50070/
   

相关内容