删除重复行而不保留一个

Question

如何在不保留重复行的情况下删除重复行：

  

布拉布拉
  土豆
  布拉布拉

为：

  

马铃薯

Answer 1

在Python中，您可以使用collections.Counter计算线条出现的频率，然后过滤仅出现一次的线条。

>>> lines="""blabla
... potato
... blabla""".splitlines()
>>> counts = collections.Counter(lines)
>>> [line for line in lines if counts[line] == 1]
['potato']

这比使用lines.count每行更快，但除非行数非常高，否则这几乎不重要。

Answer 2

你可以试试这个：

lines = ["blabla", "potato", "blabla"]

final_lines = [i for i in lines if lines.count(i) == 1]