如何访问RDD的分区路径?

时间:2018-06-21 07:28:36

标签: scala apache-spark

我们有一个用例,而不是使用mapPartitions,将针对该用例启动一组单独的spark作业。我们将需要父RDD的分区路径信息来模拟mapPartitions。如何获得?

我似乎唯一能找到信息的地方是私有 HadoopPartition

/**
 * A Spark split class that wraps around a Hadoop InputSplit.
 */
private[spark] class HadoopPartition(rddId: Int, override val index: Int, s: InputSplit)
  extends Partition {

0 个答案:

没有答案