代码占用大量CPU周期(优化)

时间:2019-12-09 19:26:13

标签: python-3.x loops

我有一个包含2048条消息的“ Message-guide-clean7.txt”。每个消息都在单独的行上。我的目录中有20个文件。我的目标是解析“消息”列表中的消息的这20个文件,并将唯一的消息添加到Global_list。我正在使用以下逻辑。但是执行需要花费很长时间。有更好的方法来解决这个问题吗?

Global_list_2 = []

with codecs.open("Message-guide-clean7.txt", "r",encoding='utf-8',errors='ignore') as input_file:
        for Message_id in input_file.readlines():
            for file in os.listdir(file_path):
                abs_file = os.path.join(file_path, file)
                with codecs.open(abs_file, "r",encoding='utf-8',errors='ignore') as input_file:
                    for line in input_file.readlines():
                        if line.find(Message_id) != -1 and Message_id not in Global_list_2:
                            Global_list_2.append(Message_id)

0 个答案:

没有答案