我有一个包含1.5亿行的csv文档'A',我需要检查每行上的单词与另一个文本文件'B'的单词:如果单词在A和B中,它应该导出整个A行成新文件。
我已将B的所有单词放入列表中并逐行检查A。当然,这需要并行化。
我的代码很简单:
keylist = []
for word in keyfile.read().split():
if not isInt(word):
keylist.append(word)
linenotadded = True
for line in tagfile:
for word in line.split(', '):
if linenotadded:
if not isID(word):
if word in keylist:
fout.write(line)
linenotadded=False
linenotadded=True
如何轻松并行化for-loop?当我在HPC平台上工作时,我有足够的内核和内存。