没有作业运行时,火花在做什么?

时间:2019-01-24 05:04:28

标签: apache-spark

我在GKE上运行了spark作业,并且还可以看到Spark UI进行监视,但是,也许我的代码不是最佳的,spark日志有时会挂在

ContextCleaner:54 - Cleaned accmulator

Codegenerator

与此同时,Spark UI上什么也没有运行,看上去更近,完成工作的时间通常少于3分钟,这是等待下一个工作开始的时间更长的时间,我只是想知道Spark正在做什么当没有工作正在运行时,它正在准备吗?为什么需要这么长时间,以及为什么没有其他方法可以在SparkUI上显示它。

0 个答案:

没有答案