Hadoop常用命令

一、MR

1、运行jar包

nohup hadoop jar TestMR.jar test/hadoop/app/TestMR > mr_log &

jar包名后面跟的是主类名

2、杀死job

 hadoop job -kill   job_id 

job_id去50030界面找

二、HDFS

Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。

1.  查看文件列表

查看hdfs中/user/admin/hdfs目录下的文件。

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs -ls /user/admin/hdfs

查看hdfs中/user/admin/hdfs目录下的所有文件（包括子目录下的文件）。

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs -lsr /user/admin/hdfs

2.  创建文件目录

查看hdfs中/user/admin/hdfs目录下再新建一个叫做newDir的新目录。

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs -mkdir /user/admin/hdfs/newDir

3.  删除文件、文件夹

（1）、删文件

删除hdfs中/user/admin/hdfs目录下一个名叫needDelete的文件

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs -rm /user/admin/hdfs/needDelete

（2）、删文件夹   

删除hdfs中/user/admin/hdfs目录以及该目录下的所有文件

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs -rmr /user/admin/hdfs

 4. 上传文件

上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/hdfs目录下

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs –put /home/…… /user/……

也可以用hadoop fs -copyFromLocal /home/…… hdfs://namenode:9000/user/……复制到HDFS

5. 下载文件

下载hdfs中/user/admin/hdfs目录下的newFile文件到本机/home/admin/newFile中

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs –get /user/admin/hdfs/newFile /home/admin/newFile

也可以用hadoop fs -copyToLocal hdfs://namenode:9000/user/ubuntu/a.txt /home/ubuntu/a.copy.txt复制到本地

6. 查看文件内容

查看hdfs中/user/admin/hdfs目录下的newFile文件

a. 进入HADOOP_HOME目录。

b. 执行sh bin/hadoop fs –cat /home/admin/newFile

7.与磁盘文件系统类似，HDFS中fsck指令可以显示块信息

hadoop fsck / -files -blocks

三、集群管理

1、启动单个节点

启动单个节点命令  死的节点上 ：  ./hadoop-deamon.sh start datanode     ./hadoop-daemon.sh start jobtracker namenode上 ： hadoop dfsadmin -refreshNodes 

2、退出安全模式

hadoop dfsadmin -safemode leave

参考：http://blog.csdn.net/djsecret_/article/details/8548225 特别说明