Pyspark结构化流媒体和卡夫卡来源 - 没有发送精神

时间:2018-03-25 21:53:59

标签: apache-spark pyspark apache-kafka spark-structured-streaming

我正在使用PySpark读取一些数据,我正在尝试读取来自Kafka源代理的数据,但PySpark中没有打印结果。

我意识到Kafka发送和接收方法正如预期和消费者所期望的那样工作。问题是读取代理在PySpark发送的数据

这是我的代码,

events = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "kafka_stream").option("startingOffsets", "latest").load()

events.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)","topic")

events.writeStream().outputMode("append").format("console").start() 

正如我所说,屏幕上没有打印记录。但是当我使用套接字格式时,它可以正常工作。

0 个答案:

没有答案