我有一个包含2048条消息的“ Message-guide-clean7.txt”。每个消息都在单独的行上。我的目录中有20个文件。我的目标是解析“消息”列表中的消息的这20个文件,并将唯一的消息添加到Global_list。我正在使用以下逻辑。但是执行需要花费很长时间。有更好的方法来解决这个问题吗?
Global_list_2 = []
with codecs.open("Message-guide-clean7.txt", "r",encoding='utf-8',errors='ignore') as input_file:
for Message_id in input_file.readlines():
for file in os.listdir(file_path):
abs_file = os.path.join(file_path, file)
with codecs.open(abs_file, "r",encoding='utf-8',errors='ignore') as input_file:
for line in input_file.readlines():
if line.find(Message_id) != -1 and Message_id not in Global_list_2:
Global_list_2.append(Message_id)