如何跟踪使用地图时处理的文件?

时间:2016-11-03 17:11:05

标签: python-2.7 multiprocessing

我使用带有pandas的map函数来读取多处理文件,例如

files = glob.glob('C:\Desktop\Folder\*.xlsx')
def read_excel(filename):
    return pd.read_excel(filename)
file_list = [filename for filename in files]
pool = Pool(processors = 4)
pool.map(read_excel, file_list)

但问题是,在我使用for循环之前,可能有一个计数器

count += 1 

对于循环中的每次迭代并打印count / len(文件)以了解进程有多远,我不能在此处执行此操作。我意识到使用多处理它可能会有点时髦,但应该有一些方法来实现它。

0 个答案:

没有答案