读取文件时Python多处理池卡住

时间:2020-02-11 12:09:46

标签: python multiprocessing

在我的主脚本中,我首先执行一个函数get_files(),该函数产生并保存以下输出: file1.pkl file2.pkl file3.pkl file4.pkl

然后我想使用pythons multiprocessing模块处理文件。这是我的main.py

的内容
import pandas as pd
import multiprocessing

def get_files(filename):
    # get some data
    for i in range(4):
        data.to_pickle(filename + str(i+1))

def process(file):
    object = pd.read_pickle(file)
    # do some processing
    return object

pool = multiprocessing.Pool(processes=4)
pool.map(process, [file1, file2, file3, file4])

由于某些原因,我的池在读取文件时卡住了。但是,当我再次执行主脚本而不先执行get_files()文件时,已经保存了,我没有任何问题。有人知道为什么会这样吗?

0 个答案:

没有答案