我想使用Python创建一个包含100.000.000条记录的文件。无论我选择哪种方法,总是会遇到memory_error。
我尝试了多处理。
def mp_worker(number):
number += 1
return number
def mp_handler():
p = multiprocessing.Pool(4)
#numbers = list(range(1000000))
with open('results.txt', 'w') as f:
for result in p.imap(mp_worker, range(100000000)):
line = generateCustomerData(result)
f.write('%s\n' % line)
f.flush()
预期结果是一个包含100.000.000条记录的文件。 实际结果是出现memory_error。