我第一次使用Spark结构化流媒体,也是第一次使用Kafka进行Spark会话。我知道如何使用用于Spark上下文的配置文件来设置conf属性,但是在Spark会话中,它看起来并不那么简单。 下面是我的Spark会话配置
val incoming_data = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "boot_strap_server_list")
.option("subscribe", "topic_name")
.load()