Scala Spark RDD当前分区数

时间:2015-07-04 19:11:30

标签: scala apache-spark

如何确定Scala中任意RDD的分区数?

我知道PySpark RDD在其API中定义了getNumPartitions,但我无法在Scala端找到等效的。

2 个答案:

答案 0 :(得分:4)

应为rdd.partitions.length

答案 1 :(得分:4)

至少在Spark 1.6.1中这可行

rdd.getNumPartitions()