我在GKE上运行了spark作业,并且还可以看到Spark UI进行监视,但是,也许我的代码不是最佳的,spark日志有时会挂在
ContextCleaner:54 - Cleaned accmulator
或
Codegenerator
与此同时,Spark UI上什么也没有运行,看上去更近,完成工作的时间通常少于3分钟,这是等待下一个工作开始的时间更长的时间,我只是想知道Spark正在做什么当没有工作正在运行时,它正在准备吗?为什么需要这么长时间,以及为什么没有其他方法可以在SparkUI上显示它。