我正在使用结构化流式Kafka集成来从事件中心流式传输数据并在控制台中进行打印,如下例所示,但是即使我能够使用org.apache.spark.eventhubs在控制台中显示数据,控制台上也无法显示任何内容结构化的流API。
import org.apache.spark.sql.kafka010._
val spark = SparkSession.builder()
.master("local[*]")
.appName("kafkaeventhubconsumer")
.getOrCreate()
val df = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "<EVENT_HUB_FQDN>:9093")
.option("subscribe", "<EVENT_HUB_NAME>")
.option("security.protocol", "SASL_SSL")
.option("sasl.mechanism" , "PLAIN")
.option("sasl.jaas.config", """org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="<CONNECTION_STRING>";""")
.load()
df.writeStream.outputMode("append").format("console").option("truncate", false).start().awaitTermination()