我正在尝试使用以下命令启动我的火花
val spark =SparkSession.builder().appName("micro").
enableHiveSupport().config("hive.exec.dynamic.partition", "true").
config("hive.exec.dynamic.partition.mode", "nonstrict").config("spark.driver.allowMultipleContexts","true").
config("spark.sql.streaming.checkpointLocation", "/user/sa1/sparkCheckpoint").config("spark.sql.parquet.cacheMetadata","false").config("spark.sql.parquet.cacheMetadata","false").config("spark.debug.maxToStringFields",100).enableHiveSupport().getOrCreate()
然后为了流式传输,我开始如下所示的ssc:
val ssc = new StreamingContext("local[*]", "KafkaExample", Seconds(4))
但是,一旦我开始ssc,就会出现以下错误。 org.apache.spark.SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243)。要忽略此错误,请设置spark.driver.allowMultipleContexts = true。
但是我已经在SparkSession.builder()中添加了提到的属性。 有人可以帮助解决这个问题吗?