Python中利用set去除列表(list)重复元素


Python的set类型和其他语言类似，是一个无序不重复元素集，基本功能包括关系测试和消除重复元素。

    如果我们要处理一些数据，需要去除掉重复元素，比如列表a = [5, 2, 5, 1, 4, 3, 4]，可以用如下方式实现

  1. a = [5, 2, 5, 1, 4, 3, 4]  
  2. print list(set(a)) 

    Python中set集合对象还支持union(联合[|])、intersection(交[&])、difference(差[-])和sysmmetric difference(对称差集^)等数学运算。如下：

  1. a = set('abracadabra')  
  2. b = set('alacazam')  
  3.  
  4. # a包含且b包含的字符  
  5. print a & b  
  6. print a.intersection(b)  
  7. # a包含或b包含的字符  
  8. print a | b  
  9. print a.union(b)  
  10. # a包含且b不包含的字符  
  11. print a - b  
  12. print a.difference(b)  
  13. # a包含且b不包含的字符和b包含且a不包含的字符  
  14. print a ^ b  
  15. print a.symmetric_difference(b) 

     当然，Python中关于set的操作类型还有很多，这里就不一一列举了。如果一个文本中有重复的元素，我们应该如何去除呢，文本内容如下：

  1. [root@bkjia ]# cat done.txt   
  2. bkjia  
  3. bkjia  
  4. bkjia  
  5.  
  6. http://www.bkjia.com/  
  7. http://www.bkjia.com/ 

    Python利用set去除重复元素的方式，如下：

  1. In [1]: print '\n'.join(set(open('done.txt').read().split('\n')))  
  2.  
  3. bkjia  
  4. http://www.bkjia.com/  
  5.  
  6. In [2]: print ''.join(set([x for x in open('done.txt').readlines() if x.strip()!='']))  
  7. bkjia  
  8. http:///www.bkjia.com/ 

相关内容