在Linux单机上运行Hadoop-0.19.0实例

在Linux单机上运行Hadoop-0.19.0实例

Hadoop-0.19.0的代码可以到Apache上下载，链接为这里，我使用的Linux机器是RHEL 5，Linux上安装的Java版本为1.6.0_16，并且JAVA_HOME=/usr/java/jdk1.6.0_16。

实践过程

1、ssh无密码验证登陆localhost

保证Linux系统的ssh服务已经启动，并保证能够通过无密码验证登陆本机Linux系统。如果不能保证，可以按照如下的步骤去做：

（1）启动命令行窗口，执行命令行：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

（2）ssh登陆localhost，执行命令行：

$ ssh localhost

第一次登录，会提示你无法建立到127.0.0.1的连接，是否要建立，输入yes即可，下面是能够通过无密码验证登陆的信息：

[root@localhost hadoop-0.19.0]# ssh localhost
Last login: Sun Aug  1 18:35:37 2010 from 192.168.0.104
[root@localhost ~]#

2、Hadoop-0.19.0配置

下载hadoop-0.19.0.tar.gz，大约是40.3M，解压缩到Linux系统指定目录，这里我的是/root/hadoop-0.19.0目录下。

下面按照有序的步骤来说明配置过程：

（1）修改hadoop-env.sh配置

将Java环境的配置进行修改后，并取消注释“#”，修改后的行为：

  export JAVA_HOME=/usr/java/jdk1.6.0_16

（2）修改hadoop-site.xml配置

在<configuration>与</configuration>加上3个属性的配置，修改后的配置文件内容为：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>