整个处理过程中的RDD唯一ID

时间:2017-08-09 19:26:57

标签: apache-spark spark-streaming rdd

我的信息流是:

KafkaDirectStream - > mapPartitions - > foreachRDD - foreachPartition

我需要从KafkaDirectStream到foreachPartition单独识别RDD。有没有办法在整个流媒体作业处理过程中唯一识别RDD?我尝试过使用id()和setName()/ name()方法但是它们不能从接收器到foreachRDD持续使用吗?

0 个答案:

没有答案