Python3：从其他worker_client启动dask.distributed.worker_client时出现歧义错误

Question

我有一些代码正在尝试使用Python3中的dask.disributing加快速度。我有3种方法，其中有一个dask.distributed Client对象开始工作。在该工作中，我启动worker_clients以运行某些功能。那些worker_clients自己开始新的worker_clients。因此，层次结构看起来像

     level 0:                 Client 
                                /|\
     level 1:           wcA1    wcA2    wcA3     
                         /|\    /|\      /|\
     level 2:         wcB1 ...  wcB4...  wcB7...

我收到错误消息

<Thread(Dask-Worker-Threads'-7805-1, started daemon 140437285209856)>

，无更多详细信息。

我已经尝试过的方法：

• 跳过level 1。我可以仅使用两个级别来成功运行它，一个以Client开始的worker_clients。当我有一个worker_client开始其他worker_clients时发生错误。

代码：

• 启动主Client：cli = Client()
• 启动级别1和级别2 worker_clients：

with worker_client() as wc:
    y = [wc.submit(func, i) for i in iterable]
    y = wc.gather(y)

有人有任何输入吗？谢谢

Answer 1

我不知道这是怎么回事，但是这一行有一个想法：

toUpperCase

是不是您用完了线程？某些操作系统只允许您一次激活数千个并发线程。我不知道您的问题是什么，如果您可能会接近该极限，那么您会知道更多。