hadoop探索-Setting up a Single Node Cluster，hadoop-setting

hadoop探索-Setting up a Single Node Cluster，hadoop-setting

目的：安装和配置一个单点的hadoop，简单的操作MapReduce和hadoop分布式文件系统（HDFS  Hadoop Distributed File System）。

需要的环境：java（版本要求点此）参考此博客  

ssh必须被配置（hadoop节点间的通讯方式为免密码形式，所以必须被配置为ssh）暂时先不管

hadoop （我安的是2.5）

注：安装java和hadoop我都是先将压缩包拷贝到/usr/local中，再将其解压

hadoop：从官网下载完后放到/usr/local中，再解压 tar -zxvf hadoop-2.5.2.tar.gz，可以在当前目录中找到解压的hadoop-2.5.2,进入hadoop-2.5.2，

编辑配置文件 vi etc/hadoop/hadoop-env.sh，修改如下两条属性，若没有找到则添加进去

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest（此处为刚才安装的jdk的JAVA_HOME的值）

# Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop

然后 cd usr/local/hadoop-2.5.2中执行 bin/hadoop，如果有hadoop的帮助提示，则安装成功

本地模式：

hadoop默认被配置为非分布式模式，作为一个单一的java进程，这对调试有好处

操作很简单，如果上面的步骤都配置完成后，直接执行下面几个操作即可看到结果

① cd usr/local/hadoop-2.5.2

②  mkdir input

③ cp etc/hadoop/*.xml input

④ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

⑤ cat output/*



可以看到如下结果，成功

[root@localhost hadoop-2.5.2]# cat output/*
1       dfsadmin