SparkSQL:任务花费数小时进行少量输入

时间:2018-07-17 06:23:15

标签: scala apache-spark apache-spark-sql

我目前遇到一个关于Apache Spark 2.1(scala)的奇怪问题。 我正在运行sparkSQL作业,该作业在一项任务上挂了两个小时以上:

enter image description here

前两项任务需要2个多小时才能完成751条输入记录,这对我来说没有任何意义。

此外,在日志中,我可以看到:

18/07/16 14:34:43 INFO Executor: Running task 0.0 in stage 21.0 (TID 3974)
18/07/16 14:34:43 INFO Executor: Finished task 0.0 in stage 21.0 (TID 3974). 16874 bytes result sent to driver
18/07/16 14:34:43 INFO Executor: Finished task 136.0 in stage 21.0 (TID 3873). 18268 bytes result sent to driver
18/07/16 16:44:42 INFO Executor: Finished task 196.0 in stage 21.0 (TID 3921). 17190 bytes result sent to driver
18/07/16 16:44:43 INFO BlockManager: Removing RDD 7
18/07/16 16:44:43 INFO BlockManager: Removing RDD 59

所以看起来执行者实际上什么也没做。

有人在之前遇到过这样的问题吗?或者有人对此有一些见解吗?

0 个答案:

没有答案