DStream.repartition(int)保证

时间:2018-07-09 07:27:20

标签: java scala apache-spark spark-streaming

我对Dstream::repartition转换的工作方式感兴趣。

由于DStream由RDD组成,因此底层RDD将具有传递给Dstream.repartition的确切分区数。

分区/任务是每个执行程序中的并行度。

出于好奇,是否可以保证调用Dstream.repartition(1)会导致每个具有一个分区的基础RDD传递给同一执行程序?

0 个答案:

没有答案