sparksession getorcreate方法一直持续到其他火花工作正在运行

Question

我正在尝试从oozie运行spark工作，我在oozie工作流程中有两个动作，它们并行运行。然而，当Oozie开始时，另一个被卡住，直到一个人在sparksession.getorcreate（）方法完成。

self.spark_session = SparkSession.builder.master(master).appName(appName).config(conf=conf).enableHiveSupport().getOrCreate()

Answer 1

如果您在YARN上运行 - 打开资源管理器UI并检查是否有足够的资源用于所有作业（例如vCores / Memory）。