pyspark-错误的工作目录并阻止了线程错误

Question

我有一个使用spark 2.4.0的pyspark作业，挂在198/200块上。当我查看这两个块发生了什么时，它们说“ RUNNING”并且在同一节点上。如果我在Web浏览器（http://node2:8081/logPage/?appId=app-20181128112202-0000&executorId=2&logType=stderr）中转到stderr日志页面，则错误是：

  

“错误：无效的日志目录   /usr/local/spark/spark-2.4.0-bin-hadoop2.7/work/app-20181128112202-0000/2 /“

如果我导航到该节点上的该文件夹目录，则没有/ 2 /文件夹，但是有一个/ 3 /文件夹。这是第16阶段，因此该节点已经完成了很多工作。

这仅在节点之一上发生。当然，我还清除了所有节点上的工作目录。

我不知道为什么要将stdout从/ 3 /更改为/ 2 /-关于如何调试它的想法？

我也找不到在工作中分配文件夹编号的位置：/usr/local/spark/spark-2.4.0-bin-hadoop2.7/work/app-20181129134852-0000/2 /

修改

我注意到我被阻塞的线程似乎互相阻塞。

线程33被224阻塞，而224被33阻塞。我不确定如何弄清楚它们为什么被阻塞-似乎与内存有关，但我不太确定如何弄清楚是什么...