我们有一个用例,而不是使用mapPartitions
,将针对该用例启动一组单独的spark
作业。我们将需要父RDD
的分区路径信息来模拟mapPartitions
。如何获得?
我似乎唯一能找到信息的地方是私有 HadoopPartition
:
/**
* A Spark split class that wraps around a Hadoop InputSplit.
*/
private[spark] class HadoopPartition(rddId: Int, override val index: Int, s: InputSplit)
extends Partition {