假设我创建了这样一个RDD(我正在使用 Pyspark ):
list_rdd = sc.parallelize(xrange(0, 20, 2), 6)
然后用glom()
方法打印分区元素并获取
[[0], [2, 4], [6, 8], [10], [12, 14], [16, 18]]
Spark如何决定如何对我的列表进行分区?这些元素的具体选择来自哪里?它可以以不同的方式耦合它们,留下除0和10之外的其他元素,以创建6个请求的分区。在第二次运行时,分区是相同的。
使用更大的范围,包含29个元素,我得到2个元素的模式中的分区,后跟三个元素:
list_rdd = sc.parallelize(xrange(0, 30, 2), 6)
[[0, 2], [4, 6, 8], [10, 12], [14, 16, 18], [20, 22], [24, 26, 28]]
我使用较小范围的9个元素
list_rdd = sc.parallelize(xrange(0, 10, 2), 6)
[[], [0], [2], [4], [6], [8]]
所以我推断Spark是通过将列表拆分为一个配置来生成分区,其中最小可能后跟更大的集合,并重复。
问题是这个选择背后是否有原因,这是非常优雅的,但它是否也提供了性能优势?
答案 0 :(得分:3)
除非您指定特定的分区程序,否则这是"随机"因为它取决于该RDD的具体实现。在这种情况下,您可以前往ParallelCollectionsRDD进一步深入研究。
getPartitions
定义为:
val slices = ParallelCollectionRDD.slice(data, numSlices).toArray
slices.indices.map(i => new ParallelCollectionPartition(id, i, slices(i))).toArray
其中slice
被评论为(重新格式化以更好地适应):
/**
* Slice a collection into numSlices sub-collections.
* One extra thing we do here is to treat Range collections specially,
* encoding the slices as other Ranges to minimize memory cost.
* This makes it efficient to run Spark over RDDs representing large sets of numbers.
* And if the collection is an inclusive Range,
* we use inclusive range for the last slice.
*/
请注意,在内存方面存在一些注意事项。所以,再一次,这将是具体的实施。