Question

使用dask运行测试用例时，即使我以多种方式指定1个工作程序，我也会看到400％以上的CPU使用率。在OSX的活动监视器上，我看到2个进程，其中一个带有1个线程，另一个带有ThreadPool带有8个线程。我看到2个进程，1个线程和4个带有single-threaded的线程。知道所有这些线程是干什么用的吗？

相关：What threads do Dask Workers have active?

import dask
import dask.array as da
from dask.diagnostics import Profiler, ResourceProfiler, CacheProfiler, visualize
from multiprocessing.pool import ThreadPool

def main():
    a = da.random.random(size=(20000, 1000), chunks=(1000, 1000))
    q, r = da.linalg.qr(a)
    a2 = q.dot(r)
    out = a2.compute()


if __name__ == "__main__":
    with Profiler() as prof, ResourceProfiler(dt=0.25) as rprof:
        #with dask.config.set(pool=ThreadPool(1)):
        #with dask.config.set(num_workers=1):  # 1 worker, 400% usage
        #with dask.config.set(num_workers=1, scheduler='single-threaded'):  # 1 worker, 400% usage
        with dask.config.set(pool=ThreadPool(1)):  # 1 worker, 400% usage
            main()
    visualize([prof, rprof])

编辑：如果我注释掉了事件探查器和ThreadPool导入，则在指定num_workers=1, scheduler='single-threaded'之后，我得到了一个包含4个线程的进程。

Answer 1

Dask一次只运行一个任务，但是这些任务可以在内部使用多个线程。就您而言，这可能是因为您的BLAS / LAPACK实现是多线程的。

您可能可以使用OMP_NUM_THREADS=1之类的环境变量来控制它。根据您的BLAS实施，还有更多特定的环境变量。

快活的工作人员在线程调度程序中使用多少个线程？

1 个答案: