SPARK_ENV_LOADED环境变量的目的是什么？

Question

我正在使用Spark隐藏的api来提交spark应用程序described here.当我提交CreateSubmissionRequest JSON时没有以下

"environmentVariables" : {
    "SPARK_ENV_LOADED" : "1"
},

作业失败，出现以下错误

WARN Worker: Driver driver-20170206152610-0010 failed with unrecoverable exception: java.lang.NullPointerException

SPARK_ENV_LOADED属性的目的是什么？

Answer 1

SPARK_ENV_LOADED环境变量告诉您​​已加载Apache Spark环境。它允许您检查以确保环境已加载，并且仅加载一次。见https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-submit.html