使用oozie操作执行Spark SQL作业的问题

时间:2018-07-16 13:12:11

标签: apache-spark-sql yarn oozie apache-spark-2.2

面对一个奇怪的问题,尝试使用spark-sql(Spark2)执行oozie action作业,但是执行的行为很奇怪,有时执行得很好,但有时仍然会出现在“ {{1} }”状态永远存在,检查日志时出现以下问题。

Running

奇怪的是,我们已经提供了足够的资源,从spark环境变量以及集群资源下也可以看到相同的资源(集群具有足够的内核和RAM)。

WARN  org.apache.spark.scheduler.cluster.YarnClusterScheduler`  - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

使用相同的配置有时也会执行得很好。我们错过了什么吗?

1 个答案:

答案 0 :(得分:0)

该问题与jar冲突有关,以下是识别相同问题的建议。 a)检查Maven依赖树以确保没有传递依赖冲突。 b)当Spark作业正在运行时,请使用Spark UI检查正在使用的环境变量。 c)解决冲突并运行Maven清洁程序包。