Question

我在并行计算集群的不同处理器上将Python 3.6脚本作为多个单独的进程运行。多达35个进程同时运行没有问题，但是第36个（及以后）进程因第二行为import pandas as pd的分段错误而崩溃。有趣的是，第一行import os不会引起问题。完整的错误消息是：

OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max
Traceback (most recent call last):
  File "/home/.../myscript.py", line 32, in <module>
    import pandas as pd
  File "/home/.../python_venv2/lib/python3.6/site-packages/pandas/__init__.py", line 13, in <module>
    __import__(dependency)
  File "/home/.../python_venv2/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module>
    from . import add_newdocs
  File "/home/.../python_venv2/lib/python3.6/site-packages/numpy/add_newdocs.py", line 13, in <module>
    from numpy.lib import add_newdoc
  File "/home/.../python_venv2/lib/python3.6/site-packages/numpy/lib/__init__.py", line 8, in <module>
    from .type_check import *
  File "/home/.../python_venv2/lib/python3.6/site-packages/numpy/lib/type_check.py", line 11, in <module>
    import numpy.core.numeric as _nx
  File "/home/.../python_venv2/lib/python3.6/site-packages/numpy/core/__init__.py", line 16, in <module>
    from . import multiarray
SystemError: initialization of multiarray raised unreported exception
/var/spool/slurmd/job04590/slurm_script: line 11: 26963 Segmentation fault      python /home/.../myscript.py -x 38

熊猫和其他一些软件包已安装在虚拟环境中。我已经复制了虚拟环境，因此每个venv中运行的进程不超过24个。例如，上面的错误脚本来自在称为python_venv2的虚拟环境中运行的脚本。

无论从特定的Pandas实例导入多少个进程，该问题每次都会在第36个进程中发生。（我什至没有削弱并行计算集群的能力。）

那么，如果这不限制访问Pandas的进程数量，是否还限制了运行Python的进程数量？为什么限制为35？

是否可以在计算机上（在单独的虚拟环境中）安装多个Python副本，以便我可以运行35个以上的进程？

Answer 1

分解错误消息

您的错误消息包含以下提示：

OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 1024 current, 2067021 max

RLIMIT_NPROC变量控制用户可以拥有的进程总数。更具体地说，因为它是每个进程的设置，所以当某个进程调用fork()，clone()，vfork()和＆c时，会将该进程的RLIMIT_NPROC值与该进程的父用户的总进程数。如果超过该值，则您将遇到的一切都关闭。

错误消息表明OpenBLAS无法创建其他线程，因为您的用户使用了RLIMIT_NPROC给它的所有线程。

由于您正在集群上运行，因此用户不太可能运行多个线程（例如，如果您在个人计算机上浏览网络，播放音乐等），那么得出这样的结论是合理的OpenBLAS正在尝试启动多个线程。

OpenBLAS如何使用线程

OpenBLAS可以使用多个线程来加速线性代数。您可能需要多个线程来快速解决一个更大的问题。您可能需要较少的线程来同时解决许多较小的问题。

OpenBLAS具有several ways来限制其使用的线程数。这些是通过以下方式控制的：

export OPENBLAS_NUM_THREADS=4
export GOTO_NUM_THREADS=4
export OMP_NUM_THREADS=4

优先级为OPENBLAS_NUM_THREADS> GOTO_NUM_THREADS> OMP_NUM_THREADS。（我认为这意味着OPENBLAS_NUM_THREADS会覆盖OMP_NUM_THREADS；但是，用OPENBLAS_NUM_THREADS编译时，OpenBLAS会忽略GOTO_NUM_THREADS和USE_OPENMP=1。）

如果未设置上述变量，则OpenBLAS将使用与您的计算机上的内核数（您的计算机上的32个内核）相等的线程数运行。

您的情况

您的群集具有32核CPU。您正在尝试运行36个Python实例。每个实例对于Python需要1个线程，对于OpenBLAS需要32个线程。您还需要1个线程用于SSH连接和1个线程用于Shell。这意味着您需要36 *（32 + 1）+ 2 = 1190个线程。

解决该问题的核选项是使用：

export OPENBLAS_NUM_THREADS=1

这应该使您减少到36 *（1 + 1）+ 2 = 74个线程。

由于您有备用容量，因此可以将OPENBLAS_NUM_THREADS调整为更高的值，但是由您单独的Python进程拥有的OpenBLAS实例将相互干扰。因此，在获得一个解决方案的速度与获得多个解决方案的速度之间需要权衡。理想情况下，您可以通过在每个节点上运行更少的Python并使用更多的节点来解决这种折衷。

同时运行的多个Python实例限制为35个

1 个答案: