我正在使用Spark结构流2.2.0,其中以Kafka为源,Redis为接收器,以用作缓存。缓存仅应填充最新数据。但是问题是,每当我要获取新批次时,它都会不断添加先前的批次并进行存储,这是错误的。我只需要存储当前批次。
接下来的批次只是先前批次的更新版本。因此,我尝试使用“更新”作为outputMode。但是它没有按预期工作。
还有什么我可以尝试的吗?预先感谢。
修改
我添加了Trigger.ProcessingTime("1 second")
-使用控制台作为格式时,它似乎可以正常工作。但是在redis中,数据仍在追加。