在我的Spark Streaming作业中,我使用mapWithState,这使我有义务启用检查点。通过操作在每个批次中触发作业:
stream.foreachRDD(rdd.foreachPartition())
在这种情况下,工作每10分钟检查一次(批次为1分钟)。
现在,我已将输出操作更改为异步:
stream.foreachRDD(rdd.foreachPartitionAsync())
但是检查点没有发生......任何提示?我尝试检查我用状态映射的RDD,它得到了检查点,但没有破坏谱系,因此每个批次的任务都在不断增长。