从CLI运行Spark作业,但在同一集群上从Oozie工作流运行时失败

时间:2019-02-09 13:04:53

标签: apache-spark yarn oozie-workflow

我的Spark / Scala命令:

absorptionSchemeExpected

上面的spark Submit命令在CLI上运行正常,但是在Oozie工作流程中运行该命令时失败。我运行工作流程后,spark作业就会失败,有时工作流程会失败。

Oozie工作流程属性
jar / py名称:assertEquals()
主类:spark-submit --class <package_name>.TestConfig --master yarn --deploy-mode cluster --executor-memory 15G --num-executors 60 --executor-cores 3 --driver-memory 15G <s3path>/TestConfig-1.0-hadoop.jar 2000
文件:TestConfig-1.0-hadoop.jar
选项列表:<package_name>.TestConfig
参数:2000

火花错误: <s3path>/TestConfig-1.0-hadoop.jar

Oozie工作流程错误: --master yarn --deploy-mode cluster --executor-memory 20G --num-executors 60 --executor-cores 3 --driver-memory 15G

0 个答案:

没有答案