1.uniq去重命令讲解,1.uniq重命令讲解
1.uniq去重命令讲解,1.uniq重命令讲解
uniq命令:
常见参数: -c,--count ***** 在每行旁边显示改行重复出现的次数 -d,--repeated 仅显示重复出现的行,2次或2次以上的行,默认的去重包含1次。 例子:a.只对相邻的相同行内容去重。
[root@nfs-server test]# cat test.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@nfs-server test]# uniq test.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
[root@nfs-server test]# sort test.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
10.0.0.9
[root@nfs-server test]# sort test.txt|uniq
10.0.0.7
10.0.0.8
10.0.0.9
[root@nfs-server test]#
[root@nfs-server test]# sort -u test.txt
10.0.0.7
10.0.0.8
10.0.0.9
[root@nfs-server test]# sort test.txt|uniq -c
210.0.0.7
310.0.0.8
210.0.0.9
http://post.judong.org/index.html http://mp3.judong.org/index.html
http://www.judong.org/3.html http://post.judong.org/2.html 解答: 法1:
[root@nfs-server test]# sort test.log|awk -F "[://]+"'{print $2}'|uniq -c
1 mp3.judong.org
2 post.judong.org
3 www.judong.org
[root@nfs-server test]# awk -F /'{print $3}' test.log|sort
mp3.judong.org
post.judong.org
post.judong.org
www.judong.org
www.judong.org
www.judong.org
[root@nfs-server test]# awk -F /'{print $3}' test.log|sort|uniq -c
1 mp3.judong.org
2 post.judong.org
3 www.judong.org
[root@nfs-server test]#
[root@nfs-server test]# awk -F /'{print $3}' test.log|sort|uniq -c|sort -r ##-r,表示倒序排列
3 www.judong.org
2 post.judong.org
1 mp3.judong.org
[root@nfs-server test]#
[root@nfs-server test]# cut -d /-f3 test.log|sort -r|uniq -c
3 www.judong.org
2 post.judong.org
1 mp3.judong.org
[root@nfs-server test]#
评论暂时关闭