如何在群集模式下设置工作节点上的线程数以进行dask？

Question

我有一个Dask日程表和4个工人。每个工人有4 cpu和8 GB。当我指定在工作进程中运行的线程数时，它不起作用。它始终始终默认为cpu（4）的数量。这是我的方法

with dask.config.set(pool=ThreadPool(8)):
   bag = db.from_sequence(archives)
   bag.map_partitions(extract_archives).compute()

当我更改为使用number_workers时，它仍然相同。

with dask.config.set(num_workers=8):
   bag = db.from_sequence(archives)
   bag.map_partitions(extract_archives).compute()

如何设置工作节点中运行的线程数？我在python 3.7中使用了Dask。

谢谢

Answer 1

您可以在设置dask worker进程时设置线程数。

$ dask-worker --help | grep threads
  --nthreads INTEGER            Number of threads per process.