我的Spark / Scala命令:
absorptionSchemeExpected
上面的spark Submit命令在CLI上运行正常,但是在Oozie工作流程中运行该命令时失败。我运行工作流程后,spark作业就会失败,有时工作流程会失败。
Oozie工作流程属性
jar / py名称:assertEquals()
主类:spark-submit --class <package_name>.TestConfig --master yarn --deploy-mode cluster --executor-memory 15G --num-executors 60 --executor-cores 3 --driver-memory 15G <s3path>/TestConfig-1.0-hadoop.jar 2000
文件:TestConfig-1.0-hadoop.jar
选项列表:<package_name>.TestConfig
参数:2000
火花错误:
<s3path>/TestConfig-1.0-hadoop.jar
Oozie工作流程错误:
--master yarn --deploy-mode cluster --executor-memory 20G --num-executors 60 --executor-cores 3 --driver-memory 15G