将多个系统属性传递给Google Dataproc群集作业

时间:2018-03-03 12:51:26

标签: apache-spark google-cloud-platform gcloud google-cloud-dataproc

我正在尝试在Dataproc群集上提交spark作业。该作业需要多个系统属性。我能够通过如下一个:

--properties ^#^spark.driver.extraJavaOptions=-Dhost=127.0.0.1,-Dlimit=10

如何传递多个属性? 我尝试了如下,即使这不起作用。

.forEach()

1 个答案:

答案 0 :(得分:1)

我明白了。

gcloud dataproc jobs submit spark \                                   
    --cluster <cluster_name> \
    --class <class_name> \
    --properties spark.driver.extraJavaOptions='-Dhost=127.0.0.1 -Dlimit=10 -Dproperty_name=property_value' \
    --jars spark_job.jar