为什么结构化流媒体会丢失kafka的数据

时间:2019-04-17 03:58:59

标签: parameters apache-kafka spark-structured-streaming

我们想从kafka中读取数据,通过结构化流,每500ms可以得到70个数据。但是,当代码运行时,发现丢失了很多数据。我尝试使用{{1 }}和spark.option("maxOffsetsPerTrigger",10000")都不起作用。如何更改参数以防止结构化流丢失数据? tks!

0 个答案:

没有答案