Python:从文件中循环读取行的并行化

时间:2017-03-24 12:31:55

标签: python parallel-processing

我有一个包含1.5亿行的csv文档'A',我需要检查每行上的单词与另一个文本文件'B'的单词:如果单词在A和B中,它应该导出整个A行成新文件。

我已将B的所有单词放入列表中并逐行检查A。当然,这需要并行化。

我的代码很简单:

keylist = []
for word in keyfile.read().split():
    if not isInt(word):
        keylist.append(word)
linenotadded = True
for line in tagfile:
    for word in line.split(', '):
        if linenotadded:
            if not isID(word):
                if word in keylist:
                    fout.write(line)
                    linenotadded=False
    linenotadded=True

如何轻松并行化for-loop?当我在HPC平台上工作时,我有足够的内核和内存。

0 个答案:

没有答案