使用shell脚本巧妙统计文件


在数据迁移的过程中，会产生大量的dump文件，需要对dump的文件情况进行一个简单清晰的管理，比如目录下的文件特别多，而且某些表比较大，对应的dump文件比较多，就想得到一个很简洁的报告，能够统计出来每个表有多少个dump文件。

比如有1000个dump文件，都是基于 表TEST1,TEST2,TEST3,TEST4的。那么就想得到一个简单的统计报告,类似下面的形式

  1. TEST1 100  
  2. TEST2 450  
  3. TEST3 300  
  4. TEST4 150 

简单模拟一下这个问题。

使用如下的脚本a.sh来生成DUMP文件吧。

  1. for i in {1..$2}  
  2. do  
  3. touch $1_EXT_$i.dmp  
  4. done 

生成这1000个dump文件。

  1. [ora11g@rac1 DUMP]$ ksh a.sh TEST1 100  
  2. [ora11g@rac1 DUMP]$ ksh a.sh TEST2 450  
  3. [ora11g@rac1 DUMP]$ ksh a.sh TEST3 300  
  4. [ora11g@rac1 DUMP]$ ksh a.sh TEST4 150  
  5. [ora11g@rac1 DUMP]$ ll *.dmp|wc -l  
  6. 1000 

简单看一下生成的dump的情况。

  1. [ora11g@rac1 DUMP]$ ll *.dmp|tail -10  
  2. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_91.dmp  
  3. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_92.dmp  
  4. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_93.dmp  
  5. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_94.dmp  
  6. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_95.dmp  
  7. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_96.dmp  
  8. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_97.dmp  
  9. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_98.dmp  
  10. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_99.dmp  
  11. -rw-r--r-- 1 ora11g dba 0 Aug 7 08:13 TEST4_EXT_9.dmp  
  12. [ora11g@rac1 DUMP]$ 

首先需要得到的是在这个目录下有几个相关的表。

比如像目前的情况，就需要得到当前目录下有

  1. TEST1  
  2. TEST2  
  3. TEST3  
  4. TEST4 

可以使用如下的命令来统计得到。

  1. [ora11g@rac1 DUMP]$ ls -lrt *.dmp|awk '{print $9}'|awk -F_EXT '{print $1}'|uniq  
  2. TEST1  
  3. TEST2  
  4. TEST3  
  5. TEST4 

然后更近一步，怎么得到每个表对应多少个dump文件呢。

可以使用如下的脚本b.sh来快速得到

  1. ls -lrt *.dmp|awk '{print $9}'|awk -F_EXT '{print $1}'|uniq|xargs -i echo "echo {} \`ls -lrt {}_EXT_[0-9]*.dmp|wc -l \`>> tablst" >test.sh  
  2. ksh test.sh  
  3. rm test.sh  
  4. [ora11g@rac1 DUMP]$ ksh b.sh  
  5. [ora11g@rac1 DUMP]$ cat tablst  
  6. TEST1 100  
  7. TEST2 450  
  8. TEST3 300  
  9. TEST4 150 

这样文件的统计工作就很清晰明了了。

相关内容