如何在交互式shell中将config参数设置为特定值(Spark 2.0.1)

时间:2017-02-06 18:43:24

标签: scala shell apache-spark

我想在交互式shell (Spark 2.0.1)中将config参数设置为特定值。我知道我可以在调用spark-shell时设置这个参数。例如:

] $SPARK_HOME/bin/spark-shell --master local[4] --conf spark.es.resource="myindex/mytype"

我想要的是在shell中设置此值。命令:

scala> spark.conf.set("spark.es.resource","myindex/mytype")

似乎没有设置真实的参数spark.es.resource,因为后续调用spark.read.format(利用资源值)崩溃了。如果我在shell外部设置参数,它就可以工作。

0 个答案:

没有答案