关于使用多处理来读取文件

Question

我的文件夹中有很多文件，所以我想我应该使用多进程， 然后我使用multiprocess来读取文件夹中的txt文件， 但是，如果我使用多进程，我比较时间， 我发现如果我不使用池更快。我不知道为什么， 那么我应该使用Pool来读取文件（大文件？）

<a>

代码是，

using Pool
time:0.5836s
not using Pool
time:0.0076s

Answer 1

您可以根据需要生成任意数量的进程，但由于您使用相同的硬盘驱动器，因此不会减少时间。更糟糕的是：你会浪费时间。

您可以将多处理用于CPU密集型任务，而不是IO密集型任务。

如果将文件从一个驱动器复制到另一个驱动器，则可以减少两个进程的时间。它也可以与已安装的网络驱动器（NAS）配合使用。