对于Python多处理，使用OMP_NUM_THREADS = 1

Question

我听说在调用使用多处理的Python脚本之前使用OMP_NUM_THREADS=1会使脚本更快。

这是真的吗？如果是的话，为什么呢？

Answer 1

由于您在评论中说您的Python程序正在调用使用OpenMP的C模块：

OpenMP在进程中执行多线程，默认线程数通常是CPU可以实际同时运行的数量。 （这通常是CPU核心的数量，或者如果CPU具有SMT功能（如Intel的超线程），则为该核心数的倍数。）例如，如果您有四核非超线程的话，那么CPU，OpenMP默认会运行4个线程。

当您使用Python的multiprocessing模块时，您的程序会启动多个可以同时运行的Python进程。您可以控制进程数，但通常您希望它是CPU核心/线程数，例如由multiprocessing.cpu_count()返回。

那么，如果你运行一个运行4个Python进程的multiprocessing程序，并且每个调用一个OpenMP函数运行4个线程，该四核CPU会发生什么？您最终在4个核心上运行16个线程。这样做可行，但效率不高，因为每个核心都需要花一些时间在任务之间切换。

设置OMP_NUM_THREADS=1基本上会关闭OpenMP多线程，因此每个Python进程都是单线程的。

但是，如果你这样做，请确保你正在启动足够的Python进程！如果你有4个CPU内核并且你只运行2个单线程Python进程，那么你将使用2个内核，另外2个空闲。 （在这种情况下，您可能需要设置OMP_NUM_THREADS=2。）

Answer 2

已在评论中解决：

  

OMP_NUM_THREADS是OpenMP的一个选项，OpenMP是一个用于在进程内执行多线程的C / C ++ / Fortran API。
  目前还不清楚这与Python多处理有什么关系   你的Python程序是否用C语言编写了内部使用OpenMP的模块？ - Wyzard