当我在火花流中使用wirteStream()时,为什么在kafka主题中没有输出?版本:spark2.4.3

时间:2019-06-26 09:08:48

标签: java apache-kafka spark-streaming

我想使用spark-streaming文档中的kafka接收器将数据写入kafka,但是为什么在具有查询日志的同时kafka主题中没有输出?

我正在使用文档中提到的Java代码,spark的版本为2.4.3

query = result
        .writeStream()
        .outputMode(outputmode)
        .format("kafka")
        .option("kafka.bootstrap.servers", kafkaMap.get("kafka.bootstrap.servers").toString())
        .option("topic", kafkaMap.get("topic").toString())
        .option("checkpointLocation", "path/to/HDFS/dir")
        .trigger(Trigger.ProcessingTime(triggerTime))
        .start();

输入源是套接字。在其他测试案例中,输入效果很好。数据只是字符串

我不知道为什么在启动使用者时kafka主题中没有输出。 当我使用控制台接收器时,输出如下:
enter image description here

0 个答案:

没有答案