以前的批次附加在Spark结构化流2.2.0中,其中源是Kafka

时间:2018-07-13 04:57:43

标签: scala apache-spark redis apache-kafka spark-structured-streaming

我正在使用Spark结构流2.2.0,其中以Kafka为源,Redis为接收器,以用作缓存。缓存仅应填充最新数据。但是问题是,每当我要获取新批次时,它都会不断添加先前的批次并进行存储,这是错误的。我只需要存储当前批次。

接下来的批次只是先前批次的更新版本。因此,我尝试使用“更新”作为outputMode。但是它没有按预期工作。

还有什么我可以尝试的吗?预先感谢。

修改

我添加了Trigger.ProcessingTime("1 second")-使用控制台作为格式时,它似乎可以正常工作。但是在redis中,数据仍在追加。

0 个答案:

没有答案