迟钝的执行被困在LocalCluster中

Question

我正在使用EC2和16 cores的{​​{1}} VM。编写了一个64GB ram程序，该程序将过滤器应用于数据帧，并对另一个程序执行Dask，然后将数据写回到磁盘。如果我通过简单地调用concat在LocalCluster模式下运行它，则在写入一些数据后，执行会停滞在某个位置。在此期间，client = Client()的利用率非常低，我很容易理解，什么也没有执行。此时零件文件的大小也停止增加。这永远持续下去。但是，如果我在不创建CPU的情况下执行它，它将运行非常慢（利用率低LocalCluster）并完成了程序。试图了解如何解决此问题。

注意：没有其他人正在使用VM，数据大小在3GB到25GB之间。

黄昏版本：2.15.0和2.17.2

Answer 1

很遗憾，您的问题中没有足够的信息来提供有用的答案。有很多事情可能会发生。

在这种情况下，我们建议您观看Dask仪表板，它可以为您提供有关发生情况的更多信息。希望可以帮助您确定问题。

https://docs.dask.org/en/latest/diagnostics-distributed.html