通过win7eclipse连接虚拟机redhat上hadoop的实现(下)


目标: 通过本机上eclipse 连接虚拟机hadoop, 并运行wordcount示例程序.

1 插件安装

一般来说, 下载的hadoop-0.20.2中包含eclipse插件, 但是只支持eclipse 3.2 之前的版本. 我又冲新下载了插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT .

将其复制到目录 F:\eclipse\eclipse\plugins 下即可,重启eclipse.

打开eclipse

左边了project explorer 上会有一个DFS Location标志

\

在windows- preferences 中会多出一个hadoop map/reduce选项,选中这个选项,然后把下载的hadoop根目录选中.

\

2配置参数

在视图中打开map/reduce location

\

在点击大象弹出的窗口进行参数的添加.

location name : 随便写,比如hadoop

map/reduce master 这个框里 host：就是jobtracker 所在的集群机器，这里是单机伪分布式，jobtracker就在这个机器上，所以填上这个机器的ip

port：就是jobtracker 的port，这里写的是9001

这两个参数就是 mapred-site.xml里面mapred.job.tracker里面的ip和port

DFS master这个框里 host：就是namenode所在的集群机器，这里是单机伪分布式，namenode就在这个机器上，所以填上这个机器的ip。

port：就是namenode的port，这里写9000

这两个参数就是 core-site.xml里fs.default.name里面的ip和port

（use M/R master host，这个复选框如果选上，就默认和map/reduce master 这个框里的 host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）

username：这个是连接hadoop的用户名，因为笔者是在linux中用root用户安装的hadoop，而且没建立其他的用户，所以就用root。

下面的不用填写。

然后点击 finish按钮，此时，这个视图中就有多了一条记录， 第三步，重启eclipse，然后重启完毕之后，重新编辑刚才建立的那个连接记录，如图，第二步里面我们是填写的General，tab页，现在我们编辑advance parameters tab页

这里大部门属性都已经自动填写上了，读者可以看到，这里其实就是把 core-defaulte.xml,hdfs-defaulte.xml,mapred-defaulte.xml里面的一些配置属性展示在这，因为我们安装hadoop的时候，还在site系列配置文件里有改动，所以这里也要弄成一样的设置。

主要关注的有以下属性

fs.defualt.name:这个在General tab页已经设置了。

mapred.job.tracker:这个在General tab页也设置了。

dfs.replication:这个这里默认是3，因为我们再hdfs-site.xml里面设置成了1，所以这里也要设置成1

hadoop.tmp.dir:这个默认是/tmp/hadoop-{user.name},因为我们在ore-defaulte.xml 里hadoop.tmp.dir设置的是/usr/local/hadoop/hadooptmp，所以这里我们也改成/usr/local/hadoop/hadooptmp,其他基于这个目录属性也会自动改

hadoop.job.ugi:这里要填写：root,Tardis，逗号前面的是连接的hadoop的用户，逗号后面就写死Tardis。

然后点击finish,然后就连接上了，连接上的标志如图：

\

DFS Locations下面会有一只大象，下面会有一个文件夹(2) 这个就是 hdfs的根目录，这里就是展示的分布式文件系统的目录结构。

3写一个wordcount的程序，在eclipse里执行

在这个eclipse里建一个map/reduce 工程，如图 叫exam

这里要注意的是,要点进去 configure hadoop install derectory这个选项,并选择hadoop安装的根目录\

\

然后在这个工程下面建个java类如下

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: wordcount <in> <out>");
      System.exit(2);
    }
    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}
进入C:/Windows/System32/drivers/etc 目录，打开 hosts文件 加入：192.168.125.131 hadoopName ip是我linux的机器ip，hadoopName是linux的机器名

在run configurerations 设置输入输出文件

\

输入文件中建立两个文件夹file1,file2 分别写几个单词.

输出文件的文件名不能与现有文件冲突

执行:run on hadoop

执行完毕后,到输出文件中查看结果

\

相关内容