如何使用python防止wordlist中的重复行?

时间:2017-07-24 21:10:24

标签: python duplicates

我将从for循环中收到许多不同的单词。我需要确定该单词是否出现在循环之前,如果没有,则必须将每个唯一单词保存到txt文件中,如果单词已经出现,则逻辑必须返回到for循环以获取下一个单词。

我会收到很多单词,所以,这个逻辑需要对RAM内存很轻。

1 个答案:

答案 0 :(得分:1)

使用set。它将防止重复输入。

如果您已有单词列表:

world_list = [...]  # a list of words
output = set(word_list)

如果您正在从输入流中读取,例如从文件中读取:

output = set()
for line in f.readline():
    output.add(line)

然后,您可以将set写入文本文件,就像使用list一样。