我在集群上运行的HDP 2.6.2上安装了Spark 2.3.1自定义非ambari安装。我已经按照spark和non ambari安装指南进行了所有必要的配置。
现在，当我以纱线群集模式提交spark作业时，我看到作业之间有10到12分钟的巨大差距，而且看不到作业之间正在执行的任何错误或操作。随附的屏幕截图显示作业之间的延迟接近10分钟，这导致完成Spark作业不必要的延迟。 Spark 2.3.1 job submitted in Yarn Cluster mode
我已经检查了Yarn日志和Spark UI，但看不到任何错误或作业之间带有时间戳记的任何操作。
浏览事件时间轴，我发现工作之间的间隔为10分钟以上。 Event timeline gap between the jobs
需要帮助，以提供任何指针来了解如何解决此问题并提高工作绩效。
关于， Vish
