Linux安装hadoop和HDFS教程，linuxhadoophdfs

Linux安装hadoop和HDFS教程，linuxhadoophdfs

上传大数据包centos6.5-hadoop-2.6.4.tar.gz

hadoop包

安装在root目录下的apps目录下

# tar -zxvf centos6.5-hadoop-2.6.4.tar.gz -C apps/

更改配置文件

配置文件

进入$HADOOP_HOME/etc/hadoop

1.修改hadoop-env.sh

2.java路径命令 which java,因为是JAVA_HOME,路径把bin/java 去掉

更改HDFS配置文件只需要更改下面两个文件

vi core-site.xml 

在configuration标签中添加文件系统的类型,我们选择默认的文件系统HDFS

下面的生成临时文件存放目录

fs.defaultFS
hdfs://192.168.33.100:9000/



hadoop.tmp.dir
/root/hdptmp/

修改hdfs-site.xml 文件(也可以什么都不用配置)

vi hdfs-site.xml  

初始化NAMENODE

Namenode的机器上运行时会记录一些数据，数据的记录有一个特定的目录结构，那么应该在namenode启动之前先构造出这样一个目录：

$HADOOP_HOME/bin/hadoop namenode -format

将hadoop文件下的命令配置到环境变量中

vi etc/profile

环境变量文件结尾处添加

export HADOOP_HOME=/root/apps/hadoop-2.6.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载配置文件命令

source /etc/profile

执行初始化命令

hadoop namenode -format

出现下面 红框内的意思是”生成文件保存位置文件夹”说明执行成功了

启动HDFS

启动namenode节点

hadoop-daemon.sh start namenode

查看是否成功

jps

查看监听端口号

netstat -nltp

9000.是之前设置它自己的进程,50070是对外提供服务的端口

这个50070端口是可以访问的 http://192.168.33.100:50070

namenode启动成功!!

启动datanode

修改配置文件,让hadoop命令到处都可以运行,bin目录和sbin目录下命令

vi /etc/profile

添加

export HADOOP_HOME=/root/apps/hadoop-2.6.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新

source /etc/profile

启动datanode

hadoop-daemon.sh start datanode