标签: java scala apache-spark spark-streaming
我对Dstream::repartition转换的工作方式感兴趣。
由于DStream由RDD组成,因此底层RDD将具有传递给Dstream.repartition的确切分区数。
分区/任务是每个执行程序中的并行度。
出于好奇,是否可以保证调用Dstream.repartition(1)会导致每个具有一个分区的基础RDD传递给同一执行程序?
Dstream.repartition(1)