如何在百度云平台上执行Hadoop MapReduce程序


发现百度云平台,可以在线执行hadoop MapReduce程序,很欣喜,摸索了一下,可以使用。大概想这才叫做云计算啊,我把计算任务给你,你把计算结果还给我。 首先要有百度账号。 从平台入口进入:http://openresearch.baidu.com/activity/platform.jspx。
会看到如下的界面,其实就是把linux系统的控制台搬到了浏览器上。可用的命令这里已经有了说明。

输入命令:hadoop jar $hadoop_examples pi 2 100,就可以运行自带的实例,来计算PI的值。 当然,可以自己上传自己的程序来执行,如下,可上传文件,包括jar包和数据文件。


比如,我这里上传了这两个文件,一个是hadoop1.2.1版本里自带的例子,一个是数据文件。


下面把上传的数据文件放到HDFS上面:


这样就可以执行hadoop jar来运行这个例子了。


执行成功。自动建立output文件夹并输出了三个文件。


下面来看一下结果片段:


不仅如此,还可以绑定网盘,从网盘直接复制文件过来。这一切都是免费的! 还有很多需要学习摸索。

相关内容