Spark Streaming checkpointing + mapWithState + async操作

时间:2018-02-20 11:42:13

标签: apache-spark asynchronous spark-streaming checkpoint

在我的Spark Streaming作业中,我使用mapWithState,这使我有义务启用检查点。通过操作在每个批次中触发作业: stream.foreachRDD(rdd.foreachPartition())

在这种情况下,工作每10分钟检查一次(批次为1分钟)。

现在,我已将输出操作更改为异步: stream.foreachRDD(rdd.foreachPartitionAsync())

但是检查点没有发生......任何提示?我尝试检查我用状态映射的RDD,它得到了检查点,但没有破坏谱系,因此每个批次的任务都在不断增长。

0 个答案:

没有答案