了解mapWithState中的存储

时间:2018-09-19 06:04:48

标签: apache-spark spark-streaming

我正在使用mapWithState运行我的Spark流媒体程序。每秒仅吸收2k条记录。我在想以下内容1.为什么将此RDD称为MapWithStateRDD? 2.更重要的是,为什么只使用20个RDD进行存储。这是因为我正在使用20个并行运行的接收器吗?将并行度提高到30甚至40会有所帮助吗?如果这样做,我应该注意什么?

enter image description here

0 个答案:

没有答案