Spark 1.5.1 with --master yarn-cluster。我想要完成的是将一个变量传递给spark-submit命令,该命令将唯一地定义衍生的应用程序。我通过webservice从外部应用程序提交spark作业(我们在dropwizard上有另一个简单的web层应用程序,其中有一个提交应用程序的端点)。另一个Web服务将返回给定标识符的操作状态。流程:
SUBMIT JOB:
MyApp -> "/Dropwizard/submit-job?id=100" -> Dropwizard -> "spark-submit --conf=id=100" -> Spark
GET STATUS
MyApp -> "/Dropwizard/status?id=100" -> Dropwizard -> "this will get information from files that are created when application runs. Files will have id in their names"
问题是sparkContext.getConf().get("id");
返回null。
你能不能给我一个线索如何使用--conf或删掉一个想法如何以其他方式解决问题?