面对一个奇怪的问题,尝试使用spark-sql(Spark2)
执行oozie action
作业,但是执行的行为很奇怪,有时执行得很好,但有时仍然会出现在“ {{1} }”状态永远存在,检查日志时出现以下问题。
Running
奇怪的是,我们已经提供了足够的资源,从spark环境变量以及集群资源下也可以看到相同的资源(集群具有足够的内核和RAM)。
WARN org.apache.spark.scheduler.cluster.YarnClusterScheduler` - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
使用相同的配置有时也会执行得很好。我们错过了什么吗?
答案 0 :(得分:0)
该问题与jar冲突有关,以下是识别相同问题的建议。 a)检查Maven依赖树以确保没有传递依赖冲突。 b)当Spark作业正在运行时,请使用Spark UI检查正在使用的环境变量。 c)解决冲突并运行Maven清洁程序包。