如何在配置文件中设置SparkSession.readStream属性?

时间:2018-08-07 02:26:22

标签: apache-spark apache-kafka apache-spark-sql spark-structured-streaming

我第一次使用Spark结构化流媒体,也是第一次使用Kafka进行Spark会话。我知道如何使用用于Spark上下文的配置文件来设置conf属性,但是在Spark会话中,它看起来并不那么简单。 下面是我的Spark会话配置

val incoming_data = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "boot_strap_server_list")
  .option("subscribe", "topic_name")
  .load()

0 个答案:

没有答案