处理文件

Question

说，我有10,000个文件，我将使用python代码从这些文件中提取一些信息并将这些信息写入mongodb。所有这些操作都将在一台本地计算机上完成。

我是否能够使用python的多处理程序包并行执行所有操作以加快速度？有没有更好的方法呢？

Answer 1

是的，多处理将有助于分配工作量。如果您的机器上有8个内核，那么大约8个Python进程可能会最大化吞吐量。更重要的是，磁盘I / O上的争用，或者与MongoDB服务器争用CPU时间，将成为瓶颈。 “multiprocessing.Pool.map”函数特别适用于在进程之间划分工作：

https://docs.python.org/2/library/multiprocessing.html#using-a-pool-of-workers