在我的主脚本中,我首先执行一个函数get_files(),该函数产生并保存以下输出: file1.pkl file2.pkl file3.pkl file4.pkl
然后我想使用pythons multiprocessing模块处理文件。这是我的main.py
的内容import pandas as pd
import multiprocessing
def get_files(filename):
# get some data
for i in range(4):
data.to_pickle(filename + str(i+1))
def process(file):
object = pd.read_pickle(file)
# do some processing
return object
pool = multiprocessing.Pool(processes=4)
pool.map(process, [file1, file2, file3, file4])
由于某些原因,我的池在读取文件时卡住了。但是,当我再次执行主脚本而不先执行get_files()文件时,已经保存了,我没有任何问题。有人知道为什么会这样吗?