hdfs test 命令，hdfstest


有时候需要写一个脚本测试hdfs中的某个文件或者目录是否存在，比如当接收机发现磁盘分区剩余空间已经到了危险值的时候，需要首先测试一下是否日志已经存入HDFS目录，如果是，则可以删除接收机上的本地日志文件，避免磁盘满的事故。

下面是hdfs2.0的test命令介绍：

hdfs dfs -help
-test -[defsz] <path>:  Answer various questions about <path>, with result via exit status.
                  -d  return 0 if <path> is a directory.
                  -e  return 0 if <path> exists.
                  -f  return 0 if <path> is a file.
                  -s  return 0 if file <path> is greater than zero bytes in size.
                  -z  return 0 if file <path> is zero bytes in size.
                else, return 1.

注意，上面的这些test flag参数是互斥的，每次只能使用一个。


下面是调用示例：

测试路径是否存在

# hdfs dfs -test -e /data/mv/mvreport/201410/20141019/117-121-54-107-20141019-0000.seq
# echo $?
0
bash中用$?获取最近一次调用的返回值。

还可以用-s 和 -z参数，

如果文件尺寸大于0,则-s 返回0, 否则返回1

如果文件尺寸为0,则-z返回0，否则返回1






hadoop执行hdfs的指令出错 /hadoop dfs mkdir 出错

core-site.xml配置中有错误
还有，一般创建目录一般使用这样的命令:hadoop fs -mkdir youdir
 

怎从hadoop的Hdfs上查询文件

A1.该索引叫FsImage， 但没有对外提供api， 参考 附录的链接1
整个文件系统的名字空间，包括数据块到文件的映射、文件的属性等，都存储在一个称为FsImage的文件中，这个文件也是放在Namenode所在的本地文件系统上。

A2. FS Shell， 详细请参考链接2
1）hadoop fs -ls
功能跟shell 的 ls 命令相同
2）hadoop fs -lsr
ls命令的递归版本。类似于Unix中的ls -R。

如果要实现复杂的查找功能，可以考虑用下述方式
hadoop fs -lsr / | awk/sed/grep .....

链接1：FsImage/EditLog的官方说明
hadoop.apache.org/...%8C%96

链接2：HDFS shell
hadoop.apache.org/...tml#ls
 

相关内容