我正在使用以下设置运行spark sql作业。
-执行器核心2 \ -执行者内存15克 --num-executors 5 \ --driver-cores 2 \ -驱动程序内存4克 --conf spark.executor.memoryOverhead = 1024m \
在集群Spark UI上运行我的作业时，在“阶段”选项卡下它显示所有任务都已完成..在“执行程序”选项卡下，所有执行程序都处于完成状态。
似乎没有人从Spark UI运行该作业。 但是后端仍然可以运行..即从cmd 当检查Spark UI Jobs ..我的作业具有状态时 状态-> RUNNING FinalStatus->未定义
我无法获取工作日志。
我的工作出了什么问题？如何解决此问题？