dask jobqueue无法创建客户端调度程序和工作程序

Question

我使用dask jobqueue以以下格式创建了作业脚本：

import dask
from dask.distributed import Client
from dask_jobqueue import PBSCluster

cluster = PBSCluster(queue='research',
                     project='DaskOnPBS',
                     local_directory='/lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/',
                     cores=24,
                     processes=2,
                     memory='10GB',
                     resource_spec='select=1:ncpus=24:mem=10GB:vntype=cray_compute')

当我运行print（cluster.job_script（））时，它会显示以下输出：

#!/usr/bin/env bash

#PBS -N dask-worker
#PBS -q research
#PBS -A DaskOnPBS
#PBS -l select=1:ncpus=24:mem=10GB:vntype=cray_compute
#PBS -l walltime=00:30:00
JOB_ID=${PBS_JOBID%%.*}

/lus/dal/hpcs_rnd/apps/anaconda3/envs/Jatin/bin/python -m distributed.cli.dask_worker tcp://10.12.1.23:44027 --nthreads 12 --nprocs 2 --memory-limit 5.00GB --name name --nanny --death-timeout 60 --local-directory /lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/

在此之后，我尝试创建客户端界面

client = Client(cluster)
print(client)

打印客户端后，我得到以下输出，其中包含0个worker，0个Cores和0个内存。

我不确定如何解决此问题。我认为客户端界面无法与PBS cluster / job_script正常通信。任何想法？谢谢！

Answer 1

可能是您的工作尚未开始运行，或者您的工作人员无法连接。我建议查看您的工作日志，看看它们是否能为您提供更多信息。