Spark - 将属性传递给spark-submit

时间:2016-01-20 10:03:04

标签: apache-spark yarn

Spark 1.5.1 with --master yarn-cluster。我想要完成的是将一个变量传递给spark-submit命令,该命令将唯一地定义衍生的应用程序。我通过webservice从外部应用程序提交spark作业(我们在dropwizard上有另一个简单的web层应用程序,其中有一个提交应用程序的端点)。另一个Web服务将返回给定标识符的操作状态。流程:

SUBMIT JOB:
MyApp -> "/Dropwizard/submit-job?id=100" -> Dropwizard -> "spark-submit --conf=id=100" -> Spark

GET STATUS
MyApp -> "/Dropwizard/status?id=100" -> Dropwizard -> "this will get information from files that are created when application runs. Files will have id in their names"

问题是sparkContext.getConf().get("id");返回null。 你能不能给我一个线索如何使用--conf或删掉一个想法如何以其他方式解决问题?

1 个答案:

答案 0 :(得分:0)

示例here

中应显示--conf id=100