无法创建大文件

时间:2019-07-09 17:01:01

标签: python multiprocessing

我想使用Python创建一个包含100.000.000条记录的文件。无论我选择哪种方法,总是会遇到memory_error。

我尝试了多处理。

def mp_worker(number):
    number += 1
    return number

def mp_handler():
    p = multiprocessing.Pool(4)
    #numbers = list(range(1000000))
    with open('results.txt', 'w') as f:
        for result in p.imap(mp_worker, range(100000000)):
            line = generateCustomerData(result)
            f.write('%s\n' % line)
            f.flush()

预期结果是一个包含100.000.000条记录的文件。 实际结果是出现memory_error。

0 个答案:

没有答案