我目前遇到一个关于Apache Spark 2.1(scala)的奇怪问题。 我正在运行sparkSQL作业,该作业在一项任务上挂了两个小时以上:
前两项任务需要2个多小时才能完成751条输入记录,这对我来说没有任何意义。
此外,在日志中,我可以看到:
18/07/16 14:34:43 INFO Executor: Running task 0.0 in stage 21.0 (TID 3974)
18/07/16 14:34:43 INFO Executor: Finished task 0.0 in stage 21.0 (TID 3974). 16874 bytes result sent to driver
18/07/16 14:34:43 INFO Executor: Finished task 136.0 in stage 21.0 (TID 3873). 18268 bytes result sent to driver
18/07/16 16:44:42 INFO Executor: Finished task 196.0 in stage 21.0 (TID 3921). 17190 bytes result sent to driver
18/07/16 16:44:43 INFO BlockManager: Removing RDD 7
18/07/16 16:44:43 INFO BlockManager: Removing RDD 59
所以看起来执行者实际上什么也没做。
有人在之前遇到过这样的问题吗?或者有人对此有一些见解吗?