标签: parameters apache-kafka spark-structured-streaming
我们想从kafka中读取数据,通过结构化流,每500ms可以得到70个数据。但是,当代码运行时,发现丢失了很多数据。我尝试使用{{1 }}和spark.option("maxOffsetsPerTrigger",10000")都不起作用。如何更改参数以防止结构化流丢失数据? tks!
spark.option("maxOffsetsPerTrigger",10000")