我想在交互式shell (Spark 2.0.1)中将config参数设置为特定值。我知道我可以在调用spark-shell时设置这个参数。例如:
] $SPARK_HOME/bin/spark-shell --master local[4] --conf spark.es.resource="myindex/mytype"
我想要的是在shell中设置此值。命令:
scala> spark.conf.set("spark.es.resource","myindex/mytype")
似乎没有设置真实的参数spark.es.resource,因为后续调用spark.read.format(利用资源值)崩溃了。如果我在shell外部设置参数,它就可以工作。